华为移动搜索AspiegelBot爬虫高频爬取

yiyunying · 发表于 2021-12-17 18:34:08

继上次头条搜索暴力爬取网站信息后，华为移动搜索AspiegelBot爬虫近日也被站长发现开始高频抓爬网站信息，就和站长头条差不多。

      了解到，这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属公司信息，显然不想让人发现，后面有站长深挖才发现这个爬虫属华为搜索旗下的AspiegelBot公司，并且AspiegelBot的爬虫超高频抓取甚至堪比上次的头条爬虫的暴力抓取，很多被爬的一些小网站很多直接瘫痪，开始屏蔽华为搜索AspiegelBot爬虫的访问。
      有站长表示：这次华为移动搜索AspiegelBot爬虫高频爬取跟就和站长头条差不多，也是大量抓取网站信息，一般搜索引擎只有开始大量建立索引库才会这么玩，跟刚上线时的头条搜索一个套路，看来华为搜索也是要准备进场了!

a四四 · 发表于 2022-1-9 20:13:24

你觉得该怎么做呢？

amigo0603 · 发表于 2022-1-10 10:14:38

今天过得很不爽！

老A_吴哲 · 发表于 2022-1-11 21:55:13

骂人也是要有水平的！

布拉格の传神 · 发表于 2022-1-12 08:54:56

看帖回帖一条路！

wgejyu · 发表于 2022-1-12 10:14:56

有内涵！

xzcy · 发表于 2022-1-12 10:55:04

看在楼主的面子上，认真回帖！

eason320hk · 发表于 2022-1-12 14:50:03

有品位！

光头人1 · 发表于 2022-1-12 14:51:11

好东西，赞一个！

cGtLUxYT · 发表于 2022-1-12 15:33:09

楼上的说的很好！

帐号		自动登录	找回密码
密码			立即注册

文字广告位6元包月-1	文字广告位6元包月-2	文字广告位6元包月-3	文字广告位6元包月-4	文字广告位6元包月-5
文字广告位招租中6	文字广告位招租中7	文字广告位招租中8	文字广告位招租中9	文字广告位招租中10
文字广告位招租中11	文字广告位招租中12	文字广告位招租中13	文字广告位招租中14	文字广告位招租中15
文字广告位招租中16	文字广告位招租中17	文字广告位招租中18	文字广告位招租中19	文字广告位招租中20
文字广告位招租中21	文字广告位招租中22	文字广告位招租中23	文字广告位招租中24	文字广告位招租中25

[网站优化] 华为移动搜索AspiegelBot爬虫高频爬取

本帖子中包含更多资源