微信公众号反爬虫机制是什么?

作者:微微号 点击:8 发布时间:2021-11-22

  微信公众号反爬虫机制是什么?以下是小编对微信公众号反爬虫机制的介绍,如果您想了解微信公众号反爬虫机制是什么,请往下看相关介绍。

  微信公众号反爬虫机制是什么?

  爬虫:使用任何技术手段,批量获取公众号数据网站信息的一种方式。

  反爬虫:使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。

  常见的微信公众号反爬虫机制:

  通过UA 识别爬虫

  有些爬虫的UA是特殊的,与正常浏览器的不一样,可通过识别特征UA,直接封掉爬虫请求

  设置IP访问频率,如果超过一定频率,弹出验证码

  如果输入正确的微信验证码,则放行,如果没有输入,则拉入禁止一段时间,如果超过禁爬时间,再次出发验证码,则拉入黑名单。当然根据具体的业务,为不同场景设置不同阈值,比如登陆用户和非登陆用户,请求是否含有refer。

  通过并发识别爬虫

  有些爬虫的并发是很高的,统计并发最高的IP,加入微信黑名单(或者直接封掉爬虫IP所在C段)

  请求的时间窗口过滤统计

  爬虫爬取网页的频率都是比较固定的,不像人去访问网页,中间的间隔时间比较无规则,所以我们可以给每个IP地址建立一个时间窗口,记录IP地址最近12次访问时间,每记录一次就滑动一次窗口,比较最近访问时间和当前时间,如果间隔时间很长判断不是爬虫,清除时间窗口,如果间隔不长,就回溯计算指定时间段的访问频率,如果访问频率超过阀值,就转向验证码页面让用户填写验证码

  限制单个ip/api token的访问量

  比如15分钟限制访问页面180次,具体标准可参考一些大型网站的公开api,如twitter api,对于抓取微信用户公开信息的爬虫要格外敏感

  识别出合法爬虫

  对http头agent进行验证,是否标记为、百度的spider,严格一点的话应该判别来源IP是否为、baidu的爬虫IP,这些IP在网上都可以找到。校验出来IP不在白名单就可以阻止访问内容。

  蜜罐资源

  爬虫解析离不开正则匹配,适当在页面添加一些正常浏览器浏览访问不到的资源,一旦有ip访问,过滤下头部是不是搜素引擎的蜘蛛,不是就可以直接封了。比如说隐式链接。

  微信公众号反爬虫机制是什么?本文中已经对什么是微信公众号反爬虫机制做了详细介绍了,如果您想了解更多微信公众号的内容,请关注微微号。

我们是一家专业提供公众号交易、公众号迁移、公众号增粉、公众号买卖交易的平台,如果您有这方面的需求,。有任何疑问,可以 【立即咨询】 我们平台的客服或者添加微信号 【19180581726】 。此文章来源于网络,如有侵权,请联系删除

标签:

资金保障

提供买卖双方资金担保交易
更放心

法律保障

交易签订具有法律效益合同
提供法律支持

急速退款

专属资金通道,快速拿到
钱款

全资公司

全资控股公司,大平台交易
有保障

服务优质

3500+专业团队,为您提供24
小时一对一贴心服务