您的位置:小众博客 > 网站运营 > 正文

常见的各大搜索引擎蜘蛛(搜索机器人)名称

超人不会飞 / 网站运营 / 5528人阅读(点这评论

对于国人的我们来说,绝大多数站长朋友做SEO优化排名,主要做的和最想做好来的无非是百度、360及搜狗它们3个。作为一名站长非常有必要学会和养成分析IIS日志的良好习惯,在日志里我们可以一目了然的看到,哪些搜索引擎蜘蛛(机器人)访问了我们的网站,具体抓取了哪些页面,以及返回来的状态码如何(比如200表示访问正常、304代表自从上次请求后所请求的网页未修改过、404则代表服务器找不到请求的网页)等多方面的情况。只有当我们对这些充分了解了之后,才能有的放矢加以改进和完善,对于增加我们网站关键词的排名是非常有裨益的。本文给大家带来详尽分享,最常见的各大搜索引擎蜘蛛(机器人)准确名称大全,在我们的网站IIS日志里可以经常看到它们的身影。

百度蜘蛛

一、百度蜘蛛

百度蜘蛛最新名称为Baiduspider,日志中还发现了Baiduspider-image这个百度旗下蜘蛛,我们直接看名字就可以知道它是干嘛的,是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。

备注:以上百度蜘蛛目前最为常见的是,Baiduspider和Baiduspider-image这两种。

二、谷歌蜘蛛

这个争议较少,但也有说是Googlebot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”,除此还发现了Googlebot-Mobile,看名字显然是抓取wap内容的。

三、360蜘蛛

360Spider,它是一个很“勤奋抓爬”的蜘蛛。

四、搜狗蜘蛛

其名称为,Sogou News Spider。

搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou来简单概括)。看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt就为搜狗蜘蛛费了不少字节,占了一大块地方。

“Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前主要有这么6个,名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″,可以为它颁个“占名为王”奖。

五、SOSO蜘蛛

Sosospider,我们也可以为它颁发一个“勤奋抓爬”奖的蜘蛛。

六、雅虎蜘蛛

“Yahoo! Slurp China”或者Yahoo,名称中带“Slurp”和空格。

七、有道蜘蛛

YoudaoBot或者YodaoBot,两个名字都有,中文拼音少了个u字母令读音差别变得很大,这都会少?

八、MSN蜘蛛

msnbot-media,只见到msnbot-media在疯狂地爬呀爬个不停。

九、必应蜘蛛

其名称为,bingbot。

十、一搜蜘蛛

其名称为,YisouSpider。

十一、Alexa蜘蛛

其名称为,ia_archiver。

十二、宜搜蜘蛛

其名称为,EasouSpider。

十三、即刻蜘蛛

其名称为,JikeSpider。

十四、一淘网蜘蛛

其名称为EtaoSpider。

十五、本文小结

另外还发现了如:YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛,如果我们的用户不在国外那么对中文网站用处很小,那是完全可以也是应该屏蔽的。因为,各大搜索引擎蜘蛛(机器人)来我们网站抓取下载内容,是非常耗费我们的网站资源的。所以作为站长,需要根据用户选择对我们的流量有利的几个常用的允许抓取,其余的都可以通过robots来加以屏蔽其抓取。


- END -

标签:搜索引擎 

发表评论

必填

必填

选填

◎欢迎参与讨论,链接秒删。

业界动态
  • 权健实际控制人束某某等18人被刑拘
  • 8 岁的微信更新了 7.0,张小龙想要如何打动你我?
  • 晚报 因色情内容微信及QQ邮箱暂停漂流瓶服务
  • 晚报 瓜子二手车因违反广告法被开千万罚单
  • 谷歌再砍通讯应用环聊Hangouts 2020年关停旧版
  • 阿里巴巴调整架构:阿里云升级为阿里云智能
  • Steam正式进入中国
  • 欧盟拟征“链接税” 谷歌威胁关闭“谷歌新闻”
  • 微信确认将推企业版微信 工作生活分开说
  • 阿里20亿购第四家香港上市公司, 亚博将获淘宝彩票运营权
  • 网站运营
  • 什么是Referer 设置防盗链时候指明和不指明空Referer的区别
  • 宝塔面板迁移系统盘/www到数据盘/data
  • 自适应网页设计代码需要做的6大调整
  • 站长们,不要忘了你的网站是要做什么的
  • 浅谈网站网页面价值所在
  • 2016年网络SEO外链指南
  • 网站优化太早并不是一定是好事
  • 十年博客路 花开花散 云卷云舒
  • SEO专员,如何评估一个外链的价值?
  • 从博客与微博的区别,谈社交创新的九败一胜
  • 年度热门
  • 大疆无人机针对美国市场涨价
  • 谷歌正式关闭短网址服务GOO.GL
  • Typecho缓存插件 TpCache for Typecho
  • 支付宝回应AI换脸 出意外全额赔付
  • 微博调整转发评论数据上限一百万
  • 2018年搜索引擎百度拦截打击500多亿条有害信息
  • 8 岁的微信更新了 7.0,张小龙想要如何打动你我?
  • 阿里云双12服务器两折优惠 仅限新人使用
  • 一句代码禁用Gutenberg(古腾堡) 编辑器
  • Facebook数亿用户电话号码曝光