首 页
WordPress
微信平台
休闲娱乐
碎语
其他
生活
闲置
登录/注册
robots
Code
七牛云存储robots.txt搜索引擎规则
6277
0
七牛云存储设置了自定义域名后,可能会造成重复收录的问题,所以需要设置 robots.txt 来禁止搜索引擎对自定义域名的收录。
Code
创建robots.txt,给爬虫指一条明路
7119
0
这里不在讲创建robots.txt文件的好处了,看用法
标签: robots - YangJunwei
登录
提交
现在注册
忘记密码?
使用社交账户登录