代码笔记，仅供参考
因为工作需要，所以我爬取了安徽省高校的名单，并将其保存在csv文件中：
# -*- coding: utf-8 -*- # -*- coding: utf-8 -*- import requests from lxml import etree from fake_useragent import UserAgent import time import csv class SchoolSpider: def __init__(self): self.url = 'http://www.gx211.com/gxmd/gx-ah.html' def get_ua(self): return UserAgent().random def get_page(self): headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0)'} res = requests.get(self.url, headers = headers) html = res.content.decode('utf-8') print('url:', res.url) print('code:', res.status_code) #print(html) self.get_school_list(html) def get_school_list(self, html): html_parse = etree.HTML(html) xpath = '//table//td[@class="td1"]/a/text()' s_list = html_parse.xpath(xpath) #print(s_list) self.write_ip(s_list) def write_ip(self, school_list): with open('./output/my_school_name.csv', 'w', newline = '', encoding = 'utf-8') as f: writer = csv.writer(f) writer.writerow(['school']) for item in school_list: writer.writerow([item]) def main(self): self.get_page() if __name__ == '__main__': start = time.time() spider = SchoolSpider() spider.main() end = time.time() print('执行时间:%.2f' % (end-start))部分结果：
school 安徽大学 中国科学技术大学 合肥工业大学 安徽工业大学 安徽理工大学 安徽工程大学 安徽农业大学 安徽医科大学 蚌埠医学院 皖南医学院 安徽中医药大学 安徽师范大学 阜阳师范大学 安庆师范大学