百度搜索资源平台robots

1、什么是robots文件---robots协议是告诉搜索引擎哪些页面可以抓取，哪些页面不可以抓取；
2、robots可以通过站长工具的robots文件生成系统生成，也可以通过robots在线生成工具生成。
3、如果对robots有什么不理解的，页面中也会有常见问题解答，会帮您解决一些疑问的