关键字:爬虫
网站的内容阅读性很差怎么办?
<p>大家好我是图恩,建站初期由于网站缺乏内容但又想要更快的获得流量的时候,就写了一个python爬虫工具每天从其他网站爬取内容然后发布到自己的网站,爬虫运行的很好,内容也如期发布,但是忽略了一个问题,就是爬取的细节没有处理好,内容不分段, ...
分类:
阅读:252
发布时间:2023-04-22 23:32:30
网站指定是被爬虫爬了
<p>大家好我是图恩,今天登录网站后台发现今天的访问量为七万四千多,这个访问量指所有文章的访问量,具体是指每次文章接口被调用访问量会+1,所以瞬间感觉到网站应该是被爬了,虽然平常也有一些爬虫在爬,但是平常的访问量是保持在七千左右,今天的访问 ...
分类:
阅读:246
发布时间:2022-08-16 22:48:47
从日志看到网站在被人使用php攻击
<p>最近升级了宝塔面板,看到新增了一个安全分析的功能,可以看到当前站点的日志分析情况。</p><p>从扫描结果来看,分xss、sql、php攻击等类型,简单看了一些这几种类型的分析,xss基本上都是一些正常数据,扫描日志也大致正常,只有p ...
分类:
阅读:298
发布时间:2022-07-26 23:13:41
爬虫太多添加robots文件来禁止一些爬虫访问网站
<p>自从网站的统计插件升级后,每天的uv/pv数据直线下降,但是每天的访问量却没有变化,访问量笔者采用的是统计每篇文章接口的调用量,所有有理由怀疑是爬虫导致的。</p><p>之前网站一直都是没有做任何限制的,但是从某一天后发现网站运行比较 ...
分类:
阅读:318
发布时间:2022-07-17 21:55:03
更新统计插件让网站的统计功能更强大效果更好
<p>这个周末更新了一些网站的功能,主要是更新后台管理首页统计数据模块功能。<br/></p><p>更新这个模块的原因主要是更新了统计插件,之前引入的统计插件会经常获取不到数据,还会记录一些无效信息,经过这次的优化,功能精简许多。</p>< ...
分类:
阅读:329
发布时间:2022-07-03 22:47:06
redis 如何设置过期时间
<p>之前笔者的网站就用上了redis,但是并未注意给数据添加过期时间的,时间一长通过vscode的redis插件看到缓存的数据有两万多条,很多时候都是爬虫访问导致的,因为目前的缓存策略是如果访问某篇文章的时候优先从redis中取,如果re ...
分类:
阅读:501
发布时间:2022-04-15 23:08:40
友盟U-Web将于2022年5月10日起不再提供免费的网站统计分析服务
<p>今天通过友盟统计查看网站数据时发现上方有通知,点击去一看发现友盟在5月份将停止免费服务,不胜唏嘘。</p><p>本来之前网站一直使用的百度统计,但是为了避免对数据造成不真实性,因为笔者发现使用百度统计后在站长工具查询网站信息时能比较准 ...
分类:
阅读:515
发布时间:2022-04-08 21:44:18
一些常见的搜索引擎爬虫
<p>对于个人网站来说,爬虫是很重要的的,爬虫可以将你网站的内容收录从而提升网站曝光率。</p><p><span style="color: var(--color-text);">这里爬虫指的就是搜索引擎,因为搜索引擎本身也是爬虫。</s ...
分类:
阅读:534
发布时间:2022-03-17 23:32:19
如何给网站添加查看更多的功能
<p>现在我们可以看到很多网站都有一个查看更多的功能,需要点击这个按钮才能看到完整的功能,究其原因还是网站想留住用户,通过这个功能来跟用户产生互动。</p><p><br/></p><p>同时这个功能还能防止一些爬虫无节制的爬取资源,比如一些 ...
分类:
阅读:432
发布时间:2022-03-11 10:09:31
网站的文章的id改为uuid
<p>最近更新了网站的一些功能,主要还是优化,发现之前的实现的功能有些缺陷。</p><p><br/></p><p>自增id改为uuid:虽然mysql官方支持将主键设置为自增id,但是对于数据量不大的网站来说用uuid也一样,而且对于爬虫采 ...
分类:
阅读:506
发布时间:2022-02-22 23:01:11
暂无数据
1
2
3
4
5
专题推荐
推荐阅读
1
新手如何从零开始搭建自己的博客系统: 后台管理-依赖包安装
阅读:111
发布时间:2024-02-28 21:07:40
2
金钱对男生有多无情,岁月对女生就有多残忍。男生没钱一无是处,女生变老一文不值。
阅读:80
发布时间:2024-03-08 11:54:39
3
当一碗水端不平得时候,只有牺牲那个最善良的才能风平浪静
阅读:74
发布时间:2024-03-03 15:31:10
4
歌曲推荐:《任我行》- 陈奕迅
阅读:70
发布时间:2024-03-03 15:36:07
5
stable diffusion controlnet 介绍
阅读:66
发布时间:2024-03-18 00:50:55
6
文章列表如何实现显示缩略图?
阅读:58
发布时间:2024-03-05 21:49:39
7
springboot项目如何接入淘宝客API?
阅读:46
发布时间:2024-03-23 22:33:02
8
南方人为什么不爱吃饺子?
阅读:38
发布时间:2024-03-16 23:04:28
9
《飞驰人生2》观后感
阅读:33
发布时间:2024-03-10 22:01:03