scrapy笔记

scrapy startproject name # 创建工程 scrapy genspider name www.xxx.com # 创建爬虫应用 scrapy genspider -t crawl name www.xxx.com # 创建爬虫应用，基于全站式 scrapy crawl name # 执行爬虫 Downloader Middlewares # 下载中间件，可设置代理ip，ua等下载扩展 Spider Middlewares # 可定义requestst和拦截篡改response Item Pipeline # 负责从spider中发过来的item，并进行后期处理：过滤、分析、存储等 scrapy_redis # scrapy_redis_bloomfilter scrapy-splash # 可在scrapy中执行js