基于Scrapy的Pixiv热榜爬虫：pixiv_crawl
基于Scrapy 的 PIXIV爬虫，功能简单（简陋），实现了简单的页面信息抽取，JSON API信息抽取，IMAGE存储等功能。基于Scrapy的配置文件进行灵活配置（包含某些福利选项），并通过Cookie Middleware实现模拟登录等功能。
用户配置信息：
- IMAGES_STORE 配置图片存储的地址
- PIXIV_USER_NAME 配置你的PIXIV用户名
- PIXIV_USER_PASS 配置你的PIXIV密码
- START_DATE 抓取的时间
- SELECT_MODE_IDX 热榜模式选择
本文由用户 f2xc 自行上传分享，仅供网友学习交流。所有权归原作者，若您的权利被侵害，请联系管理员。
转载本站原创文章，请注明出处，并保留原始链接、图片水印。
本站是一个以用户分享为主的开源技术平台，欢迎各类分享！