请选择 进入手机版 | 继续访问电脑版

易运营交流社区

 找回密码
 立即注册
搜索
热搜: 运营 推广 seo
文字广告位6元包月-1文字广告位6元包月-2文字广告位6元包月-3文字广告位6元包月-4文字广告位6元包月-5
文字广告位招租中6文字广告位招租中7文字广告位招租中8文字广告位招租中9文字广告位招租中10
文字广告位招租中11文字广告位招租中12文字广告位招租中13文字广告位招租中14文字广告位招租中15
文字广告位招租中16文字广告位招租中17文字广告位招租中18文字广告位招租中19文字广告位招租中20
文字广告位招租中21文字广告位招租中22文字广告位招租中23文字广告位招租中24文字广告位招租中25
查看: 53.8K|回复: 177

[网站优化] 华为移动搜索AspiegelBot爬虫高频爬取

  [复制链接]

1019

主题

1051

帖子

4092

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
4092
发表于 2021-12-17 18:34:08 | 显示全部楼层 |阅读模式
继上次头条搜索暴力爬取网站信息后,华为移动搜索AspiegelBot爬虫近日也被站长发现开始高频抓爬网站信息,就和站长头条差不多。
        
        了解到,这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属公司信息,显然不想让人发现,后面有站长深挖才发现这个爬虫属华为搜索旗下的AspiegelBot公司,并且AspiegelBot的爬虫超高频抓取甚至堪比上次的头条爬虫的暴力抓取,很多被爬的一些小网站很多直接瘫痪,开始屏蔽华为搜索AspiegelBot爬虫的访问。
        有站长表示: 这次华为移动搜索AspiegelBot爬虫高频爬取跟就和站长头条差不多,也是大量抓取网站信息,一般搜索引擎只有开始大量建立索引库才会这么玩,跟刚上线时的头条搜索一个套路,看来华为搜索也是要准备进场了!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
广告位招租中(此广告位500/月)
回复 论坛版权

举报

0

主题

230

帖子

347

积分

中级会员

Rank: 3Rank: 3

积分
347
QQ
发表于 2022-1-9 20:13:24 | 显示全部楼层
你觉得该怎么做呢?

0

主题

242

帖子

402

积分

中级会员

Rank: 3Rank: 3

积分
402
QQ
发表于 2022-1-10 10:14:38 | 显示全部楼层
今天过得很不爽!
广告位招租中(此广告位500/月)

0

主题

242

帖子

456

积分

中级会员

Rank: 3Rank: 3

积分
456
QQ
发表于 2022-1-11 21:55:13 | 显示全部楼层
骂人也是要有水平的!

0

主题

244

帖子

433

积分

中级会员

Rank: 3Rank: 3

积分
433
QQ
发表于 2022-1-12 08:54:56 | 显示全部楼层
看帖回帖一条路!
广告位招租中(此广告位500/月)

0

主题

244

帖子

393

积分

中级会员

Rank: 3Rank: 3

积分
393
QQ
发表于 2022-1-12 10:14:56 | 显示全部楼层
有内涵!

0

主题

300

帖子

479

积分

中级会员

Rank: 3Rank: 3

积分
479
QQ
发表于 2022-1-12 10:55:04 | 显示全部楼层
看在楼主的面子上,认真回帖!
广告位招租中(此广告位500/月)

1

主题

241

帖子

364

积分

中级会员

Rank: 3Rank: 3

积分
364
QQ
发表于 2022-1-12 14:50:03 | 显示全部楼层
有品位!

0

主题

220

帖子

331

积分

中级会员

Rank: 3Rank: 3

积分
331
QQ
发表于 2022-1-12 14:51:11 | 显示全部楼层
好东西,赞一个!
广告位招租中(此广告位500/月)

0

主题

268

帖子

403

积分

中级会员

Rank: 3Rank: 3

积分
403
QQ
发表于 2022-1-12 15:33:09 | 显示全部楼层
楼上的说的很好!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|易运营交流社区

GMT+8, 2024-6-20 08:32

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表