蚂蚱辅助网_小刀辅助网_我爱辅助网_蚂蚁辅助论坛 广告合作 软件发布
您的位置:首页 SEO优化 小雨资源网:百度蜘蛛叫Baiduspider不是baidubot

小雨资源网:百度蜘蛛叫Baiduspider不是baidubot

作者:蚂蚱辅助网时间:2020-6-15 0:08分类: SEO优化

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot


百度蜘蛛叫Baiduspider不是baidubot

明天又遇到有同窗问我关于ROBOTS该如何去写的成绩,这里整理下给大家,其实也都是来源于网路上,留意百度的蜘蛛叫做Baiduspider而不是baidubot,谷歌的叫做googlebot。

1565247107204908.jpg

1、制止一切搜索引擎拜访网站的任何局部


User-agent:*


Disallow:/


2、允许一切的robot拜访(或许也可以建一个空文件"/robots.txt")


User-agent:*


Allow:/


另一种写法是


User-agent:*


Disallow:


3、仅制止Baiduspider拜访您的网站


User-agent:Baiduspider


Disallow:/


4、仅允许Baiduspider拜访您的网站


User-agent:Baiduspider


Allow:/


5、制止spider拜访特定目录


在这个例子中,该网站有三个目录对搜索引擎的拜访做了限制,即robot不会拜访这三个目录。需求留意的是对每一个目录必需


分开声明,而不能写成"Disallow:/cgi-bin//tmp/"。


User-agent:*


Disallow:/cgi-bin/


Disallow:/tmp/


Disallow:/~joe/


6、允许拜访特定目录中的局部url


User-agent:*


Allow:/cgi-bin/see


Allow:/tmp/hi


Allow:/~joe/look


7、运用"*"限制拜访url


制止拜访/cgi-bin/目录下的一切以".htm"为后缀的URL(包括子目录)。


User-agent:*


Disallow:/cgi-bin/*.htm


8、运用"$"限制拜访url


仅允许拜访以".htm"为后缀的URL。


User-agent:*


Allow:/.htm$


9、制止拜访网站中一切的静态页面


User-agent:*


Disallow:/*?*


10、制止Baiduspider抓取网站上一切图片


仅允许抓取网页,制止抓取任何图片。


User-agent:Baiduspider


Disallow:/*.jpg$


Disallow:/*.jpeg$


Disallow:/*.gif$


Disallow:/*.png$


Disallow:/*.bmp$


11、仅允许Baiduspider抓取网页和gif格式图片


允许抓取网页和gif格式图片,不允许抓取其他格式图片


User-agent:Baiduspider


Allow:.gif$


Disallow:/.jpg$


Disallow:/.jpeg$


Disallow:/.png$


Disallow:/.bmp$


12、仅制止Baiduspider抓取jpg格式图片


User-agent:Baiduspider


Disallow:/.jpg$

评论列表