记录个人的第一个爬虫练习，爬取豆瓣电影评分Top250的数据，并分别生成Excel文件和数据库文件。
爬虫(spider)，又称网络蜘蛛，是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。
代码如下（示例）：
import sqlite3 # 进行sql数据库操作 import re # 正则匹配 from bs4 import BeautifulSoup # 网页解析，获取网页数据 import urllib.request,urllib.error # 制定URL，获取网页数据 import xlwt #进行excel操作源代码
import sqlite3 # 进行sql数据库操作 import re # 正则匹配 from bs4 import BeautifulSoup # 网页解析，获取网页数据 import urllib.request,urllib.error # 制定URL，获取网页数据 import xlwt #进行excel操作 def main(): baseurl = "https://movie.douban.com/top250?start=" datalist = getData(baseurl) savepath = ".\\豆瓣电影Top250.xls" saveData(datalist,savepath) dbpath = "movie.db" saveData2DB(datalist,dbpath) # 影片地址 findlink = re.compile(r'<a href="(.*?)">') # 创建正则表达式，制定规则 # 影片图片 findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) # 影片片名 findname = re.compile(r'<span class="title">(.*)</span>') # 影片评分 findmark = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>') # 影片评价人数 findpeople = re.compile(r'<span>(\d+)人评价</span>') # 影片概况 findinq = re.compile(r'<span class="inq">(.*)</span>') # 找到影片的相关内容 findinfo = re.compile(r'<p class="">(.*?)</p>',re.S) # 1.抓取数据 def getData(baseurl): datalist = [] for i in range(0,10): url = baseurl + str(i*25) html = askURL(url) #保存获取到的网页源码 # 2.逐一解析数据 soup = BeautifulSoup(html,"html.parser") for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表 # print(item) data = [] #保存电影的所有信息 item = str(item) # 获取影片的详情链接 link = re.findall(findlink,item)[0] data.append(link) # print(link) # 获取图片链接 imgsrc = re.findall(findImgSrc,item)[0] data.append(imgsrc) # 获取影片名称 moviename = re.findall(findname,item) if len(moviename) != 1: data.append(moviename[0]) name = moviename[1].replace('/','') data.append(name.strip()) else: data.append(moviename) data.append(" ") # 获取评分 moviemark = re.findall(findmark,item) data.append(moviemark[0]) # 评价人数 people = re.findall(findpeople,item) data.append(people[0]) # 影片概况 movieinq = re.findall(findinq,item) if len(movieinq) != 0: data.append(movieinq[0].replace('。','')) else: data.append(' ') # 影片相关内容 movieinfo = re.findall(findinfo,item)[0] movieinfo = re.sub('<br(\s+)?/>(\s+)?',' ',movieinfo) movieinfo = re.sub('/',' ',movieinfo) movieinfo = movieinfo.strip() # 去掉前后的空格 # print(movieinfo) data.append(movieinfo) # print(data) datalist.append(data) #把处理好的一部电影信息存入datalist return datalist # 得到一个指定URL网页内容 def askURL(url): head = { # 模拟浏览器头部信息，向豆瓣发送消息 "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36" } # 用户代理，表示告诉豆瓣服务器，我们是什么机器、浏览器（本质是告诉浏览器，我们可以接受什么水平的文件） request = urllib.request.Request(url,headers=head) html = "" try: response = urllib.request.urlopen(request) html = response.read().decode("utf-8") # print(html) except urllib.error.URLError as e: if hasattr(e,"code"): print(e.code) if hasattr(e,"reason"): print(e.reason) return html def saveData(datalist,savepath): # 3.保存数据 book = xlwt.Workbook(encoding='utf-8',style_compression=0) sheet = book.add_sheet('豆瓣高分电影top250',cell_overwrite_ok=True) col = ('电影链接','海报链接','中文名','外文名','评分','评价人数','概况','主演信息') for i in range(0,8): sheet.write(0,i,col[i]) for i in range(0,250): print('第%d条'%(i+1)) data = datalist[i] for j in range(0,8): sheet.write(i+1, j,data[j]) book.save(savepath) print('爬取完毕！') def saveData2DB(datalist,dbpath): init_db(dbpath) conn = sqlite3.connect(dbpath) cur = conn.cursor() for data in datalist: for index in range(len(data)): # if index == 4 or index == 5: # data[index] = data[index][0] if index == 4 or index == 5: continue data[index] = '"' + str(data[index]) + '"' # else: # data[index] = '"' + str(data[index]) + '"' sql = ''' insert into movie250 ( link,imgsrc,moviename,ename,moviemark,people,movieinq,movieinfo) values(%s)'''%",".join(data) # print(sql) cur.execute(sql) conn.commit() cur.close() conn.close() def init_db(dbpath): sql = ''' create table movie250 ( id integer primary key autoincrement, link text, imgsrc text, moviename varchar, ename varchar, moviemark numeric, people numeric, movieinq text, movieinfo text ) ''' #创建数据表 conn = sqlite3.connect(dbpath) cursor = conn.cursor() cursor.execute(sql) conn.commit() conn.close() if __name__ == "__main__": #当程序执行时 # 调用函数 main()1、生成Excel表格
2、生成数据库文件
这个案例主要使用了正则表达式获取网页源码地址，通过bs4库解析网址，再分别通过xlwt模块生成Excel文件，利用sqlite3模块生成简单的数据库文件，涉及的模块和知识点较多，是一个很好的爬虫练习案例。
