robots.txt的写法

robots写法

robots的写法是和它格式一样的txt文档编辑的,并不是网页的html之类的代码。写法格式可以参考http://www.wc35.com/robots.txt里的。我就把他复制出来给大家讲解下,方便大家理解!

User-Agent: *
Disallow: /*.css$ 
Disallow: /*.js$ 
Disallow: /Dkdkg
Allow: /gdfk.html
Sitemap: http://www.wc35.com/sitemap.xml

User-Agent: 表示允许搜索引擎蜘蛛来爬行抓取。如果想让所以搜索引擎蜘蛛抓的话就这样写:User-Agent: *只想让搜索引擎蜘蛛来爬行,只要在后面添加百度的Baiduspider或者谷歌的Googlebot。要注意写法,每个值后都是大写开头的而且再冒号后都有个小空格!

 

Disallow: 该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。
因为搜索引擎不能识别js和css我就可以不允许它抓取,以免权重分散!也可以不许它抓取你的后台文件!

 

Allow: 该键说明允许搜索引擎蜘蛛爬行的URL路径。
比如你莫个文件夹不想被它抓取,但是文件夹里面的某个文件又想被抓取就可以这么写。要结合Disallow先不允许在Allow允许!

 

Sitemap: 最后一个就是指引蜘蛛进入网站地图啦。里面加上自己的地图路径就可以。

 

总结的说一说robots的规则的吧,robots一般生效期为一周时间左右。它并不是写了就能绝对性的阻碍蜘蛛不去抓取,你们可以看看淘宝的。还有尽量在网站上线前写好robots。还要注意网站备案过程中也要写好robots。robots在网站调试中只是一个防止手段,并不是最佳手段。最佳就是在本地搭建好,测试好。等备案通过再上传!

 

欢迎留言