爬虫--Scrapy简易爬虫(单页爬取)

1.创建爬虫项目文件 meiju 2.修改settings中爬虫协议为False 3.meiju目录下,再次新建爬虫文件 –scrapy genspider <文件名> <爬虫的url> 这里用meijuSpider文件名 4.主项目下创建快速调试方式

在meijuSpider.py中 import scrapy # 爬虫类: 继承scrapy.Spider from ..items import MeijuItem class MeijuspiderSpider(scrapy.Spider): # 爬虫名:唯一 name = 'meijuSpider' # 允许的域名列表 allowed_domains = ['meijutt.tv'] # 第一个爬取的url start_urls = ['https://www.meijutt.tv/new100.html'] # 解析响应数据 # Scrapy内部爬取完成后自动调用,并返回响应数据 def parse(self, response): # print(type(response)) # <class 'scrapy.http.response.html.HtmlResponse'> # print(response.text) # 字符串网页内容 # print(response.body) # 二进制网页内容 # scrapy集成了xpath movie_list = response.xpath('//ul[@class="top-list fn-clear"]/li') # print(movie_list) for movie in movie_list: # 电影名称 # m_name = movie.xpath('./h5/a/text()')[0].extract() # 获取data的文本数据 # m_name = movie.xpath('./h5/a/text()').extract_first() # 推荐 获取data的文本数据 m_name = movie.xpath('./h5/a/text()').get() # 推荐 获取data的文本数据 # print(m_name) # 电影类型 m_type = movie.xpath('./span[@class="mjjq"]/text()').get() # 电视台 m_tv = movie.xpath('./span[@class="mjtv"]/text()').get() # 时间 m_time = movie.xpath('./div[@class="lasted-time new100time fn-right"]/font/text()').get() # print(m_name, m_type, m_tv, m_time) # 创建item item = MeijuItem() item["mname"] = m_name # 这里要以字典的方式写 item["mtype"] = m_type item["mtv"] = m_tv item["mtime"] = m_time # 这里返回的item会进入到管道piplines中 yield item

items.py中

import scrapy # item: 一项,项目,数据 # 数据模型: 类似Django的Model # 设置爬取哪些字段 class MeijuItem(scrapy.Item): mname = scrapy.Field() mtype = scrapy.Field() mtv = scrapy.Field() #定义爬取的字段,上面爬取了名字 类型 时间 tv信息,所以这个定义 mtime = scrapy.Field()

在pipelinses.py中

class MeijuPipeline: # 需要调用pipline需要做2件事: # 1. 在爬虫文件meijuSpider.py的parse方法中要yield item # 2. 在settings中配置pipline # 会被自动调用多次: 次数取决于meijuSpider中parse方法里yield item的次数 def process_item(self, item, spider): # print(f'---- {item} ----') # 存入文件 string = str((item['mname'], item['mtype'], item['mtv'], item['mtime'])) self.fp.write(string + "\n") self.fp.flush() return item # 在开启爬虫时会自动被调用 def open_spider(self, spider): print('开始爬虫...') # 打开文件 self.fp = open('meiju_movie.txt', 'a', encoding='utf-8') # 在关闭爬虫时自动调用 def close_spider(self, spider): print('爬虫关闭...') # 关闭文件 self.fp.close()

在settings.py中

ITEM_PIPELINES = { 'meiju.pipelines.MeijuPipeline': 300, } #需要打开这个注释项,不然不能调用pipelines中的类