网络爬虫 定义：按照一定的规则，自动的抓取网站信息的脚本。 典型的应用：搜索引擎、今日头条、竞品分析等
A、爬虫流程 1、发送请求，向对方服务器发送抓取网站的链接URL 2、返回请求，在不发生意外的情况下（意外包括网络问题、客户端问题、服务器问题等），对方服务器将会返回请求内容（即网页源代码） 3、数据存储，利用正则表达式或解析法对源代码做清洗，并将目标数据存储到本地（txt、CSV、Excel等）或者数据库（MySQL、SQL server 、MongoDB等）
B、使用到的包及函数 import requests import re import bs4
requests.get – 基于URL，发送网络请求 re.findall – 基于正则表达式，搜寻目标数据 bs4.BeautifulSoup – 对HTML源代码做解析，便于目标数据的拆解
案例1-红牛公司： http://www.redbull.com.cn/about/branch 需求：提取出分公司名称和地址
#导入requests、re、bs4包 import requests import re import bs4
url = ‘http://www.redbull.com.cn/about/branch’ response = requests.get(url)
#提取公司名称 company = re.findall(’
