自制的一个爬虫nekocat

想法

最近想着爬一个IT技术站，找了JAVA的一些爬虫围观了下，嗯…都不太合心意，还是自制一个吧，参考了 https://github.com/biezhi/elves 的思路，于是就开工了，大约一两周摸鱼的时间，就基本完成了，可以来github围观：https://github.com/chocotan/nekocat
，名字是随便取的。

功能

  1. 定时执行
  2. 自定义UA、代理池
  3. 支持多线程
  4. 可自定义Downloader实现headless chrome（大概）
  5. 失败重试

成果

于是就找了一些网站开始爬了，注册了个域名，做了个界面，挂上了google adsense

网址：www.codetd.com

赏

谢谢你请我吃糖果

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true