网站指定是被爬虫爬了

今天登录网站后台发现今天的访问量为七万四千多,这个访问量指所有文章的访问量,具体是指每次文章接口被调用访问量会+1,所以瞬间感觉到网站应该是被爬了,虽然平常也有一些爬虫在爬,但是平常的访问量是保持在七千左右,今天的访问量明显异常,差不多是平常的十倍,为什么能这么肯定是爬虫呢,因为pv跟uv的访问量跟平常差不多,所有唯一的原因就是爬虫在工作了。

虽然我能知道我的网站www.dsiab.com被爬了,但是我感觉并没有太好的办法解决这个问题,因为我看了一下日志,大部分的请求都是伪装成正常请求,而且从useragent看不太出来。

最近我也看到在gitee的开源项目访问量突然多了起来,不知道是什么原因,因为我的网站后台是有一个测试账号的,这个账号对外公开,登录后节能看到后台管理的一些信息,像访问量这些是能通过测试账号看到的,这些并不是什么隐私数据,包括访问的浏览器型号,操作系统、分辨率等都是公开的。

现阶段我对这种爬虫也无能为力,也并不想去处理,只要不影响网站的正常访问就可以,全当新用户访问了。

当然其实之前也有过对网站做限流的操作,但是目前还没有时间实现这部分的功能,等以后有时间再说。

希望网站能被大家看到,也希望大家能注册、投稿,一起交流。

本文章由javascript技术分享原创和收集

标签:爬虫
如若转载请注明原文及出处:https://www.dsiab.com/post/c107ed68-92b5-41e2-acfe-03e7d0f8cb62
本站文章由javascript技术分享原创和收集,内容如有问题,请联系站长删除。

评论: