robots协议
spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。
robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。
首先会检查该网站中是否存在 网址/robots.txt这个文件
robots格式
User-agent: *
Disallow:
allow:
““和”$”的含义 Baiduspider支持使用通配符”“和”$”来模糊匹配url。
“$” 匹配行结束符。
“*” 匹配0或多个任意字符。
转载请注明：⎛蜗牛SEO⎞ » robots是什么意思？robots怎么写？
