返回
机器人协议
阅读：(1473) | 2017-09-05
赞0
机器人协议（Robots.txt）不过是一个TXT文本文件，存在于你域名根目录之下，作用是将网站的目录结构信息告诉爬虫和蜘蛛，并限制其对特定文件夹和内容的访问，或者是完全将它们关在门外。
作者:紫色年华
机器人协议
阅读：(1473) | 2017-09-05
赞0
机器人协议（Robots.txt）不过是一个TXT文本文件，存在于你域名根目录之下，作用是将网站的目录结构信息告诉爬虫和蜘蛛，并限制其对特定文件夹和内容的访问，或者是完全将它们关在门外。