易运营交流社区

 找回密码
 立即注册
搜索
热搜: 运营 推广 seo
文字广告位6元包月-1文字广告位6元包月-2文字广告位6元包月-3文字广告位6元包月-4文字广告位6元包月-5
文字广告位招租中6文字广告位招租中7文字广告位招租中8文字广告位招租中9文字广告位招租中10
文字广告位招租中11文字广告位招租中12文字广告位招租中13文字广告位招租中14文字广告位招租中15
文字广告位招租中16文字广告位招租中17文字广告位招租中18文字广告位招租中19文字广告位招租中20
文字广告位招租中21文字广告位招租中22文字广告位招租中23文字广告位招租中24文字广告位招租中25
查看: 82K|回复: 177

[建站知识] 2021年最新出搜索引擎蜘蛛大全记录

  [复制链接]

2

主题

236

帖子

358

积分

中级会员

Rank: 3Rank: 3

积分
358
QQ
发表于 2021-9-14 14:47:00 | 显示全部楼层 |阅读模式
各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容,也会消耗一定的站点流量;
        有时候就需要屏蔽某些蜘蛛访问我们的站点,文章尾部会讲解决办法;
        了解各大搜索引擎蜘蛛爬虫,对我们进行网站SEO优化起到很大作用;舍力收集了各大搜索引擎的蜘蛛爬虫UA,以便你需要时查阅。
        1、百度蜘蛛:BaiduSpider
常见的Baiduspider和Baiduspider-image(抓取图片)
        百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见
        百度蜘蛛爬虫UA:
        PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
        移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
        图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”
        2、谷歌蜘蛛:Googlebot
有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的
        谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
        图片:“Googlebot-Image/1.0”
        3、360蜘蛛:360Spider
它是一个十分“勤奋抓爬”的蜘蛛
        360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);
        4、搜狗蜘蛛:Sogou News Spider
搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了.)
        搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”
        5、必应蜘蛛:bingbot
必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”
        6、SOSO蜘蛛:Sosospider
腾讯已玩死,交给搜狗公司了
        soso蜘蛛爬虫UA:“Sosospider+(+http://help.soso.com/webspider.htm)”
        7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)
雅虎蜘蛛爬虫UA:
        雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”
        雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”
        8、MSN蜘蛛:msnbot,msnbot-media
好像只见到msnbot-media在狂爬……
        MSN蜘蛛爬虫UA:
        *msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
        其它还有 一搜蜘蛛:YisouSpider、Alexa蜘蛛:ia_archiver、宜搜蜘蛛:EasouSpider、即刻蜘蛛:JikeSpider,以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛,据说这几个国外的蜘蛛都不咋好
        搜索引擎蜘蛛名称
        其实常用的搜索引擎就那么几个,只要在robots.txt文件里把常用的搜索引擎蜘蛛放进来就行,其它的可以统统屏蔽。
广告位招租中(此广告位500/月)
回复 论坛版权

举报

0

主题

244

帖子

403

积分

中级会员

Rank: 3Rank: 3

积分
403
QQ
发表于 2022-1-10 14:43:22 | 显示全部楼层
顶!顶!顶!

1

主题

245

帖子

371

积分

中级会员

Rank: 3Rank: 3

积分
371
QQ
发表于 2022-1-11 03:29:15 | 显示全部楼层
楼主的帖子实在是写得太好了。文笔流畅,修辞得体!
广告位招租中(此广告位500/月)

0

主题

238

帖子

452

积分

中级会员

Rank: 3Rank: 3

积分
452
QQ
发表于 2022-1-11 10:10:24 | 显示全部楼层
楼主练了葵花宝典吧?

0

主题

248

帖子

415

积分

中级会员

Rank: 3Rank: 3

积分
415
QQ
发表于 2022-1-11 18:35:17 | 显示全部楼层
每天顶顶贴,一身轻松啊!
广告位招租中(此广告位500/月)

0

主题

236

帖子

391

积分

中级会员

Rank: 3Rank: 3

积分
391
QQ
发表于 2022-1-12 00:35:24 | 显示全部楼层
哥回复的不是帖子,是寂寞!

0

主题

258

帖子

387

积分

中级会员

Rank: 3Rank: 3

积分
387
QQ
发表于 2022-1-12 06:25:47 | 显示全部楼层
楼主,你妈妈喊你回家吃饭!
广告位招租中(此广告位500/月)

0

主题

246

帖子

450

积分

中级会员

Rank: 3Rank: 3

积分
450
QQ
发表于 2022-1-12 07:18:24 | 显示全部楼层
我默默的回帖,从不声张!

0

主题

258

帖子

434

积分

中级会员

Rank: 3Rank: 3

积分
434
QQ
发表于 2022-1-12 07:54:57 | 显示全部楼层
东方不败还是灭绝师太啊?
广告位招租中(此广告位500/月)

0

主题

234

帖子

423

积分

中级会员

Rank: 3Rank: 3

积分
423
QQ
发表于 2022-1-12 08:20:34 | 显示全部楼层
楼上是GG还是MM啊?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|易运营交流社区

GMT+8, 2024-12-27 08:33

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表