robots

七牛云存储robots.txt搜索引擎规则

Code

七牛云存储robots.txt搜索引擎规则

6277 0

七牛云存储设置了自定义域名后，可能会造成重复收录的问题，所以需要设置 robots.txt 来禁止搜索引擎对自定义域名的收录。

创建robots.txt，给爬虫指一条明路

Code

创建robots.txt，给爬虫指一条明路

7119 0

这里不在讲创建robots.txt文件的好处了，看用法

标签: robots - YangJunwei