关键字:爬虫
网站的内容阅读性很差怎么办?
<p>大家好我是图恩,建站初期由于网站缺乏内容但又想要更快的获得流量的时候,就写了一个python爬虫工具每天从其他网站爬取内容然后发布到自己的网站,爬虫运行的很好,内容也如期发布,但是忽略了一个问题,就是爬取的细节没有处理好,内容不分段, ...
分类:
阅读:269
发布时间:2023-04-22 23:32:30
网站指定是被爬虫爬了
<p>大家好我是图恩,今天登录网站后台发现今天的访问量为七万四千多,这个访问量指所有文章的访问量,具体是指每次文章接口被调用访问量会+1,所以瞬间感觉到网站应该是被爬了,虽然平常也有一些爬虫在爬,但是平常的访问量是保持在七千左右,今天的访问 ...
分类:
阅读:261
发布时间:2022-08-16 22:48:47
从日志看到网站在被人使用php攻击
<p>最近升级了宝塔面板,看到新增了一个安全分析的功能,可以看到当前站点的日志分析情况。</p><p>从扫描结果来看,分xss、sql、php攻击等类型,简单看了一些这几种类型的分析,xss基本上都是一些正常数据,扫描日志也大致正常,只有p ...
分类:
阅读:316
发布时间:2022-07-26 23:13:41
爬虫太多添加robots文件来禁止一些爬虫访问网站
<p>自从网站的统计插件升级后,每天的uv/pv数据直线下降,但是每天的访问量却没有变化,访问量笔者采用的是统计每篇文章接口的调用量,所有有理由怀疑是爬虫导致的。</p><p>之前网站一直都是没有做任何限制的,但是从某一天后发现网站运行比较 ...
分类:
阅读:330
发布时间:2022-07-17 21:55:03
更新统计插件让网站的统计功能更强大效果更好
<p>这个周末更新了一些网站的功能,主要是更新后台管理首页统计数据模块功能。<br/></p><p>更新这个模块的原因主要是更新了统计插件,之前引入的统计插件会经常获取不到数据,还会记录一些无效信息,经过这次的优化,功能精简许多。</p>< ...
分类:
阅读:344
发布时间:2022-07-03 22:47:06
redis 如何设置过期时间
<p>之前笔者的网站就用上了redis,但是并未注意给数据添加过期时间的,时间一长通过vscode的redis插件看到缓存的数据有两万多条,很多时候都是爬虫访问导致的,因为目前的缓存策略是如果访问某篇文章的时候优先从redis中取,如果re ...
分类:
阅读:519
发布时间:2022-04-15 23:08:40
友盟U-Web将于2022年5月10日起不再提供免费的网站统计分析服务
<p>今天通过友盟统计查看网站数据时发现上方有通知,点击去一看发现友盟在5月份将停止免费服务,不胜唏嘘。</p><p>本来之前网站一直使用的百度统计,但是为了避免对数据造成不真实性,因为笔者发现使用百度统计后在站长工具查询网站信息时能比较准 ...
分类:
阅读:536
发布时间:2022-04-08 21:44:18
一些常见的搜索引擎爬虫
<p>对于个人网站来说,爬虫是很重要的的,爬虫可以将你网站的内容收录从而提升网站曝光率。</p><p><span style="color: var(--color-text);">这里爬虫指的就是搜索引擎,因为搜索引擎本身也是爬虫。</s ...
分类:
阅读:550
发布时间:2022-03-17 23:32:19
如何给网站添加查看更多的功能
<p>现在我们可以看到很多网站都有一个查看更多的功能,需要点击这个按钮才能看到完整的功能,究其原因还是网站想留住用户,通过这个功能来跟用户产生互动。</p><p><br/></p><p>同时这个功能还能防止一些爬虫无节制的爬取资源,比如一些 ...
分类:
阅读:448
发布时间:2022-03-11 10:09:31
网站的文章的id改为uuid
<p>最近更新了网站的一些功能,主要还是优化,发现之前的实现的功能有些缺陷。</p><p><br/></p><p>自增id改为uuid:虽然mysql官方支持将主键设置为自增id,但是对于数据量不大的网站来说用uuid也一样,而且对于爬虫采 ...
分类:
阅读:521
发布时间:2022-02-22 23:01:11
暂无数据
1
2
3
4
5
专题推荐
推荐阅读
1
deepin如何安装node16
阅读:103
发布时间:2024-03-30 18:56:09
2
springboot项目如何接入淘宝客API?
阅读:95
发布时间:2024-03-23 22:33:02
3
为什么武汉残疾人坐地铁事件会反转?
阅读:41
发布时间:2024-04-12 11:53:43
4
stable diffusion 关键词分享
阅读:41
发布时间:2024-04-13 23:00:01
5
stable diffusion如何加载lora模型
阅读:39
发布时间:2024-04-14 12:26:36
6
阳台上种的小番茄终于开花结果了
阅读:32
发布时间:2024-04-13 22:18:56
7
2023年专项附加退税成功
阅读:26
发布时间:2024-04-15 20:29:14
8
真正口渴的人是不会拿水浇花的。
阅读:25
发布时间:2024-04-14 22:44:43
9
近水楼台先得月,向阳花木早逢春。 贫居闹市无人问,富在深山有远亲。
阅读:18
发布时间:2024-04-16 21:19:14
10
每日一图:美食与美貌,皆不可辜负
阅读:12
发布时间:2024-04-17 21:49:42