关键字:爬虫
  • 网站的内容阅读性很差怎么办?
    <p>大家好我是图恩,建站初期由于网站缺乏内容但又想要更快的获得流量的时候,就写了一个python爬虫工具每天从其他网站爬取内容然后发布到自己的网站,爬虫运行的很好,内容也如期发布,但是忽略了一个问题,就是爬取的细节没有处理好,内容不分段, ...
  • 网站指定是被爬虫爬了
    <p>大家好我是图恩,今天登录网站后台发现今天的访问量为七万四千多,这个访问量指所有文章的访问量,具体是指每次文章接口被调用访问量会+1,所以瞬间感觉到网站应该是被爬了,虽然平常也有一些爬虫在爬,但是平常的访问量是保持在七千左右,今天的访问 ...
  • 从日志看到网站在被人使用php攻击
    <p>最近升级了宝塔面板,看到新增了一个安全分析的功能,可以看到当前站点的日志分析情况。</p><p>从扫描结果来看,分xss、sql、php攻击等类型,简单看了一些这几种类型的分析,xss基本上都是一些正常数据,扫描日志也大致正常,只有p ...
  • 爬虫太多添加robots文件来禁止一些爬虫访问网站
    <p>自从网站的统计插件升级后,每天的uv/pv数据直线下降,但是每天的访问量却没有变化,访问量笔者采用的是统计每篇文章接口的调用量,所有有理由怀疑是爬虫导致的。</p><p>之前网站一直都是没有做任何限制的,但是从某一天后发现网站运行比较 ...
  • 更新统计插件让网站的统计功能更强大效果更好
    <p>这个周末更新了一些网站的功能,主要是更新后台管理首页统计数据模块功能。<br/></p><p>更新这个模块的原因主要是更新了统计插件,之前引入的统计插件会经常获取不到数据,还会记录一些无效信息,经过这次的优化,功能精简许多。</p>< ...
  • redis 如何设置过期时间
    <p>之前笔者的网站就用上了redis,但是并未注意给数据添加过期时间的,时间一长通过vscode的redis插件看到缓存的数据有两万多条,很多时候都是爬虫访问导致的,因为目前的缓存策略是如果访问某篇文章的时候优先从redis中取,如果re ...
  • 友盟U-Web将于2022年5月10日起不再提供免费的网站统计分析服务
    <p>今天通过友盟统计查看网站数据时发现上方有通知,点击去一看发现友盟在5月份将停止免费服务,不胜唏嘘。</p><p>本来之前网站一直使用的百度统计,但是为了避免对数据造成不真实性,因为笔者发现使用百度统计后在站长工具查询网站信息时能比较准 ...
  • 一些常见的搜索引擎爬虫
    <p>对于个人网站来说,爬虫是很重要的的,爬虫可以将你网站的内容收录从而提升网站曝光率。</p><p><span style="color: var(--color-text);">这里爬虫指的就是搜索引擎,因为搜索引擎本身也是爬虫。</s ...
  • 如何给网站添加查看更多的功能
    <p>现在我们可以看到很多网站都有一个查看更多的功能,需要点击这个按钮才能看到完整的功能,究其原因还是网站想留住用户,通过这个功能来跟用户产生互动。</p><p><br/></p><p>同时这个功能还能防止一些爬虫无节制的爬取资源,比如一些 ...
  • 网站的文章的id改为uuid
    <p>最近更新了网站的一些功能,主要还是优化,发现之前的实现的功能有些缺陷。</p><p><br/></p><p>自增id改为uuid:虽然mysql官方支持将主键设置为自增id,但是对于数据量不大的网站来说用uuid也一样,而且对于爬虫采 ...

暂无数据