- 本人的博客为了自动感知友情链接博客站点的状态,或者验证提交的网址信息
- 采用了网络爬虫的方式来采集一些必要的数据
- 为了让您明确相关的请求来自于本站爬虫
- 本站在每个发起的外部抓取请求中定义了如下的User agent请求标识
Mozilla/5.0 (Linux; HarmonyOS 3.0; TNY-AL00) Chrome/116.0.5845.97 (compatible; Buyanbot/1.0; +https://qaqbuyan.com:88/Buyanbot.html)
- 探测站点的可访问状态,获取标题,描述等信息
- 主要采集来源
- 1.验证网址 友情链接 是否包函本站以及提交的网址跟图标
- 2.验证提交 留言信箱 的网址
- 您可以查看用户代理字符串识别Buyanbot爬虫
- 但是用户代理字符串很容易被欺骗
- 所以并不是每个带有这些用户代理字符串的请求都可能来自真正的Buyanbot爬虫
- 要确定请求是否来自Buyanbot爬虫
- 所以请您确保证Buyanbot的IP是否与本站IP一致
- 访问友情链接或提交数据,每天约在5次以内
- 这不会对您的服务器负载产生多大影响
- 如果访问频率过高,请验证Buyanbot的IP
- 请输入IP地址以验证它是否是Buyanbot
- 如果您在自己网站的访问日志中看到有类似的访问记录,希望可以予以通行
- 或者访问日志中看到大量的Buyanbot爬虫信息
- 并且Buyanbot的IP与本站IP一致,说明我正在爬您网站的数据😜