什么是robots

robots

 

什么是robots?

robots的英文意思是指机器人。当然和我们seoer所说的robots是有差别的,robots文件格式都是.txt格式的。它并不是一个命令,而是一个搜索引擎蜘蛛协议。作用就是告诉蜘蛛网站的内容哪些可以抓取哪些不能抓取的!

robots.txt与nofollow标签有什么不同?

常常有些有所了解一点的人对于这两个东西弄混,实际上robots.txt和nofollow还是很容易区分的的,robots.txt是告诉蜘蛛这个页面抓不抓取,禁不禁止蜘蛛抓取的,而nofollow标签则是告诉搜索引擎页面上的链接传递权重或者是不对某一个特定的链接传递权重,告诉蜘蛛不能去爬。

常见的robots蜘蛛有哪些?

baiduspider 百度的综合索引蜘蛛
Googlebot 谷歌蜘蛛
Googlebot-Image专门用来抓取图片的蜘蛛
Mediapartners-Google 广告联盟代码的蜘蛛
YodaoBot 网易蜘蛛
Sosospider 腾讯SOSO综合蜘蛛
sogou spider 搜狗综合蜘蛛
Yahoo Slurp 雅虎蜘蛛
Yahoo! Slup China 雅虎中国蜘蛛
Yahoo!-AdCrawler 雅虎广告蜘蛛
robots.txt可以控制某一个蜘蛛特定的权限和屏蔽蜘蛛。

robots的好处?

巧用robots.txt可以让网站收录些更有价值的页面,集中权重。屏蔽后可以减少垃圾页面和不必要的页面被收录,这些都是非常基本和非常重要的一点。不会写robots.txt的可以看看我的另外一篇文章“robots.txt的写法”希望大家多多支持韶关seo优化。谢谢!

欢迎留言