关键字:robots.txt
  • 爬虫太多添加robots文件来禁止一些爬虫访问网站
    <p>自从网站的统计插件升级后,每天的uv/pv数据直线下降,但是每天的访问量却没有变化,访问量笔者采用的是统计每篇文章接口的调用量,所有有理由怀疑是爬虫导致的。</p><p>之前网站一直都是没有做任何限制的,但是从某一天后发现网站运行比较 ...
  • hexo个人网站优化探索
    <article class="_2rhmJa"><p><a href="https://links.jianshu.com/go?to=https%3A%2F%2Fnojsja.gitee.io%2Fblogs%2F2021%2F05%2 ...
  • 前端项目开发规范意见
    出于整个团队代码可读性、可维护性考量,有必要约定一套基本规范(包括代码命名、基础设施、提交日志、对外文档、测试等方面),供各团队都能参考,从而提升项目可持续性发展,也便于成员之间,能很好提升代码 CoverReview 效率等。鉴于此,有将 ...

暂无数据