robots文件放在我们网站的根目录下，是搜索引擎第一个访问的文件，重要性不言而喻，很多新手站长没有设置robots文件，虽 然网站还是会被搜索引擎正常抓取，但是搜索引擎访问不到robots这个页面会返回一个404错误，对SEO不利，所以不论你懂不懂 ，最好设置一个robots.txt文件，就算是空的也行。

　　那么正规的robots文件该如何设置呢？robots里面含有两个函数，User-agent和 Disallow。

　　举例个robots.txt,不懂的朋友可以根据自己的网站情况，作为参考。

　　User-agent: *

　　Disallow: /admin/ 后台管理文件

　　Disallow: /require/ 程序文件

　　Disallow: /attachment/ 附件

　　Disallow: /images/ 图片

　　Disallow: /data/ 数据库文件

　　Disallow: /template/ 模板文件

　　Disallow: /css/ 样式表文件

　　Disallow: /lang/ 编码文件

　　Disallow: /script/ 脚本文件

　　佛山SEO的robots文件是这样设置的

　　User-agent: *

　　Disallow:

　　新手朋友只要按照我这样设置就行了，它的用法是允许搜索引擎抓取所有页面。如果你的网站正在建设，还需要修改，不想搜索 引擎抓取，你可以这样设置：

　　User-agent: *

　　Disallow: /

　　加一个/的意思就是不允许搜索引擎抓取网站的所有内容。网站建设完毕之后记得改回来喔，要不然会严重影响收录的。

推荐阅读：