搜索引擎蜘蛛名称及释义（爬虫机器人SpiderBot）

不长叶子的树

搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也叫机器人（bot）。搜索引擎蜘蛛访问网站页面时类似于普通用户使用浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取的速度，都使用多个蜘蛛分布爬行。 每次我们使用搜索引擎时，蜘蛛程序便会用其索引中的信息来查找和排名结果。

1、BaiduSpider（百度蜘蛛）

常见的百度蜘蛛有：Baiduspider 和 Baiduspider-image（抓取图片）。国内网站大多数流量均来自百度

百度还有其它几个蜘蛛：

Baiduspider-video（抓取视频）

Baiduspider-news（抓取新闻）

Baiduspider-mobile（抓取wap）

百度蜘蛛介绍：http://www.baidu.com/search/spider.html

2、Googlebot（谷歌蜘蛛）

常见的谷歌蜘蛛有：Googlebot；还一个 Googlebot-Mobile ，不是很常见，看名字是应该是抓取 wap 页面的。世界第一大搜索引擎

谷歌蜘蛛链接：http://www.google.com/bot.html

3、360Spider（360蜘蛛）

一个十分“勤奋抓爬”的蜘蛛。

360蜘蛛IP：https://www.so.com/help/spider_ip.html

4、Sogou web spider（搜狗蜘蛛）

搜狗公司还有其它几个蜘蛛：Sogou News Spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，常见的Sogou web spider。

参考百度的robots文件，搜狗蜘蛛名称可以用 Sogou 概括

搜狗蜘蛛爬虫：http://www.sogou.com/docs/help/webmasters.htm

5、bingbot（必应蜘蛛）

必应是微软的搜索引擎，微软的IE浏览器和Edge浏览器会默认使用该搜索引擎，且占有率也还可以

必应蜘蛛爬虫：http://www.bing.com/bingbot.htm

6、Sosospider（SOSO蜘蛛）

腾讯已玩死，当前交给搜狗公司。

soso蜘蛛爬虫：http://help.soso.com/webspider.htm

7、Yahoo! Slurp China（雅虎中国）或 Yahoo! Slurp（雅虎英文）

雅虎蜘蛛爬虫：

雅虎中国：http://misc.yahoo.com.cn/help.html

雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp

8、MSNBot，MSNot-media（MSN蜘蛛）

MSNBOT应该是 bing 搜索的蜘蛛，MSN和bin 一家的，可以只保留 Bingbot。

MSN蜘蛛爬虫：http://search.msn.com/msnbot.htm

9、YisouSpider（一搜蜘蛛/神马搜索）

神马搜索是UC和阿里2013年已经成立合资公司推出的移动搜索引擎。

该蜘蛛抓取频率还是很高的

10、YoudaoBot（有道蜘蛛）：网易有道的蜘蛛

11、JikeSpider（即刻蜘蛛）：“即刻搜索”是由人民搜索网络股份公司于2011年6月20日推出的通用搜索引擎平台

12、jike即刻蜘蛛：http://shoulu.jike.com/spider.html

13、EasouSpider（宜搜蜘蛛）：宜搜是主要针对手机端的搜索引擎

14、YYSpider：据说是个人写的蜘蛛程序，指向的是 http://www.yunyun.com/spider.html，yunyun.com  目前不能访问，建议屏蔽之。

15、ToutiaoSpider（头条号）：今日头条的头条号蜘蛛

来源：http //web.toutiao.com/media_cooperation

16、MJ12bot： 英国的一个搜索引擎，官方解释为：成千上万的企业使用13种语言和60多个国家来绘制互联网地图，独立于基于消费者的搜索引擎。

来源：http://mj12bot.com/

17、YandexBot：国外的一个网站分析平台

详细介绍：https://webmaster.yandex.com

来源：http://yandex.com/bots

18、Rogerbot：Moz 网站的机器人。与 Moz 的官方机器人 DotBot 不同，Rogerbot 似乎不再是一个合法的机器人。

19、DotBot：嗯，看到这你应该懂了。

来源：http://www.opensiteexplorer.org/dotbot

20、exabot：Exalead或Dassault Systemes网站的机器人。

21、ia_archiver（Alexa蜘蛛）：Alexa 的网站和网站审计爬虫。

22、Teoma：是美国 Ask Jeeves 搜索引擎的蜘蛛，在美国占 5% 的搜索份额。

23、gigabot：搜索到的是一个 3D 打印公司

24、DOCOMO Sprider：日本 NTT DoCoMo 旗下的搜索引擎蜘蛛

25、AhrefsBot：国外的一个网站监控工具

来源：http://ahrefs.com/robot/

26、SemrushBot：网站分析工具。

来源：http://www.semrush.com/bot.html

不长叶子的树

分类	蜘蛛名称	说明
国内搜索引擎蜘蛛	Baiduspider	百度蜘蛛
	360Spider	360 蜘蛛
	sogou spider	搜狗蜘蛛
	Yisouspider	神马蜘蛛
	Yahoo Slurp	雅虎中国蜘蛛
	bingbot	必应蜘蛛
	YoudaoBot	有道蜘蛛
	JikeSpider	即刻搜索
	Sosospider	腾讯搜搜蜘蛛
	EasouSpider	宜搜蜘蛛
	Bytespider	今日头条蜘蛛
	YYSpider	YY 蜘蛛
	petalbot	华为蜘蛛
	YunGuanCe	网络爬虫程序
	EtaoSpider	一淘蜘蛛
国外搜索引擎蜘蛛	MJ12bot	英国 MJ12 蜘蛛
	YandexBot	俄罗斯蜘蛛
	DuckDuckGo	网页爬虫
	Rogerbot	网页爬虫
	DotBot	Dot 蜘蛛
	MauiBot	Maui 蜘蛛
	SEMrushBot	SEMrush 蜘蛛
	MegaIndex.ru	MegaIndex 蜘蛛
	ZoominfoBot	Zoominfo 蜘蛛
	SeznamBot	Seznam 蜘蛛
	BLEXBot	BLEX 蜘蛛
	ExtLinksBot	ExtLinks 蜘蛛
	aiHitBot	aiHit 蜘蛛
	Researchscan	Researchscan 蜘蛛
	spbot	sp 蜘蛛
	Uptimebot	Uptime 蜘蛛
	AhrefsBot	Ahrefs 蜘蛛
	Amazonbot	亚马逊蜘蛛
	ImagesiftBot	ImageSift 蜘蛛
	Linguee Bot	Linguee 蜘蛛
	AwarioBot	Awario 蜘蛛
	Ezooms	Ezooms 蜘蛛
	ZmEu	漏洞扫描
	Swiftbot	Swift 蜘蛛
	CCBot	Cloudflare 蜘蛛
	AdsBot	Ads 蜘蛛
	CriteoBot	Criteo 蜘蛛
	Serpstatbot	Serpstat 蜘蛛
	bidswitchbot	bidswitch 蜘蛛
	Deusu	个人蜘蛛
	grapeshot	Grapeshot 蜘蛛
	SEOkicks-Robot	SEOkicks 蜘蛛
	Applebot	苹果蜘蛛
	Backlink-Checker-Spider	backlinks 蜘蛛
	Coccocbot-web	Coccoc 蜘蛛
	Mail.RU_Bot	Mail.RU蜘蛛
	DigitalPebble	爬虫框架
	VenusCrawler	网络爬虫程序
	BUbiNG	网络爬虫系统
	GrapeshotCrawler	网络爬虫程序
	Jinquanspider	网络爬虫程序
	MediavBot	网络爬虫程序
	exabot	exa 蜘蛛
	ia_archiver	网络爬虫程序
	Teoma	Ask 蜘蛛
	DOCOMO Sprider	DOCOMO 蜘蛛
	hubspot	hubspot 蜘蛛
	twiceler	twiceler 蜘蛛
	Psbot	Ps 蜘蛛
	Pinterestbot	Pinterest 蜘蛛
	RepoLookoutBot	RepoLookout 蜘蛛
	DataForSeoBot	DataForSeo 蜘蛛
	WellKnownBot	WellKnown 蜘蛛
	Facebot	Face 蜘蛛
	YouBot	You 蜘蛛
	heritrix	heritrix 蜘蛛
	MSNBot-Academic	微软学术蜘蛛
	lycos_spider	Lycos 蜘蛛
	AraybOt	Aray 蜘蛛
	ClaudeBot	人工智能模型爬虫
	GPTBot	人工智能模型爬虫

以下是补充的一些常见搜索引擎蜘蛛（网络爬虫），涵盖更多平台及特殊用途的爬虫，

分类	蜘蛛名称	说明
国内搜索引擎蜘蛛	Sogou web spider	搜狗网页爬虫（细分类型）
	QQbot	腾讯 QQ 相关爬虫
	XiaohongshuSpider	小红书平台爬虫
	DouyinSpider	抖音平台爬虫
国外搜索引擎蜘蛛	Googlebot	谷歌搜索引擎爬虫（最常用）
	BingPreview	必应预览爬虫（用于生成快照）
	YandexImages	俄罗斯 Yandex 图片爬虫
	Pinterestbot-image	Pinterest 图片爬虫
	Twitterbot	推特（X 平台）爬虫
	FacebookExternalHit	脸书外部链接爬虫
	LinkedInBot	领英平台爬虫
	Slackbot	Slack 平台爬虫
	Discordbot	Discord 平台爬虫
	TikTokbot	抖音国际版（TikTok）爬虫
	NaverBot	韩国 Naver 搜索引擎爬虫
	DaumBot	韩国 Daum 搜索引擎爬虫
	SosoBot	韩国 Soso 搜索引擎爬虫
	AlexaBot	亚马逊 Alexa 排名爬虫
	Majestic-12	Majestic SEO 工具爬虫
	QuantcastBot	Quantcast 数据分析爬虫
	ComScoreBot	ComScore 统计分析爬虫
	ArchiveBot	互联网档案馆（Wayback Machine）爬虫