【爬虫学习五】 Python大型爬虫案例: 抓取某电商网站的商品数据 （2）代码和效率优化

对 爬虫学习四 的代码和效率进行优化

---

一 代码优化：

使用 def 自定义函数优化代码，提高代码可读性

import requests import time import pymongo def connect_mongo(): #连接数据库 client = pymongo.MongoClient('localhost', 27017) # 建立连接 book_qunar = client['qunar'] # 建立名为“qunar” 的数据库 return book_qunar['sheet_qunar'] # 在数据库中创建新 “sheet_qunar” sheet_qunar = connect_mongo() def get_json(url): #获得链接为url的数据的JSON str = requests.get(url) time.sleep(1) return str.json() def get_list(dep,item): #获取产品列表: dep为出发地,item为目的地 url = 'https://touch.dujia.qunar.com/' \ 'list?modules=list,bookingInfo%2' \ 'CactivityDetail&dep={}&query={}&' \ 'dappDealTrace=true&mobFunction=%E' \ '6