对于国人的我们来说，绝大多数站长朋友做SEO优化排名，主要做的和最想做好来的无非是百度、360及搜狗它们3个。作为一名站长非常有必要学会和养成分析IIS日志的良好习惯，在日志里我们可以一目了然的看到，哪些搜索引擎蜘蛛（机器人）访问了我们的网站，具体抓取了哪些页面，以及返回来的状态码如何（比如200表示访问正常、304代表自从上次请求后所请求的网页未修改过、404则代表服务器找不到请求的网页）等多方面的情况。只有当我们对这些充分了解了之后，才能有的放矢加以改进和完善，对于增加我们网站关键词的排名是非常有裨益的。本文给大家带来详尽分享，最常见的各大搜索引擎蜘蛛（机器人）准确名称大全，在我们的网站IIS日志里可以经常看到它们的身影。
一、百度蜘蛛
百度蜘蛛最新名称为Baiduspider，日志中还发现了Baiduspider-image这个百度旗下蜘蛛，我们直接看名字就可以知道它是干嘛的，是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。
备注：以上百度蜘蛛目前最为常见的是，Baiduspider和Baiduspider-image这两种。
二、谷歌蜘蛛
这个争议较少，但也有说是Googlebot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”，除此还发现了Googlebot-Mobile，看名字显然是抓取wap内容的。
三、360蜘蛛
360Spider，它是一个很“勤奋抓爬”的蜘蛛。
四、搜狗蜘蛛
其名称为，Sogou News Spider。
搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou来简单概括）。看看最权威的百度的robots.txt ，http://www.baidu.com/robots.txt就为搜狗蜘蛛费了不少字节，占了一大块地方。
“Sogou web spider；Sogou inst spider；Sogou spider2；Sogou blog；Sogou News Spider；Sogou Orion spider”目前主要有这么6个，名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″，可以为它颁个“占名为王”奖。
五、SOSO蜘蛛
Sosospider，我们也可以为它颁发一个“勤奋抓爬”奖的蜘蛛。
六、雅虎蜘蛛
“Yahoo! Slurp China”或者Yahoo，名称中带“Slurp”和空格。
七、有道蜘蛛
YoudaoBot或者YodaoBot，两个名字都有，中文拼音少了个u字母令读音差别变得很大，这都会少？
八、MSN蜘蛛
msnbot-media，只见到msnbot-media在疯狂地爬呀爬个不停。
九、必应蜘蛛
其名称为，bingbot。
十、一搜蜘蛛
其名称为，YisouSpider。
十一、Alexa蜘蛛
其名称为，ia_archiver。
十二、宜搜蜘蛛
其名称为，EasouSpider。
十三、即刻蜘蛛
其名称为，JikeSpider。
十四、一淘网蜘蛛
其名称为EtaoSpider。
十五、本文小结
另外还发现了如：YandexBot、AhrefsBot和ezooms.bot这些国外蜘蛛，如果我们的用户不在国外那么对中文网站用处很小，那是完全可以也是应该屏蔽的。因为，各大搜索引擎蜘蛛（机器人）来我们网站抓取下载内容，是非常耗费我们的网站资源的。所以作为站长，需要根据用户选择对我们的流量有利的几个常用的允许抓取，其余的都可以通过robots来加以屏蔽其抓取。