爬虫伪装

有些网站不会同意程序直接进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作需要进行伪装自己

---

1.1 设置请求头

其中User-Agent代表用的哪个请求的浏览器

代码如下：

from urllib.request import urlopen from urllib.request import Request url = 'http://www.server.com/login' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } request = Request(url, headers=headers) response = urlopen(request) page = response.read()

对付防盗链，服务器会识别headers中的referer（客户机通过这个头告诉服务器，它是从哪个资源来访问服务器的）是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer

代码如下：

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)', 'Referer':'http://www.zhihu.com/articles' }

提示

在此可以使用多个User_Agent:然后随即选择

import urllib.request import random ua_list = [ "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)", "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1", "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1", "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; QIHU 360EE)" ] user_agent = random.choice(ua_list) request = urllib.request.Request("http://www.baidu.com") request.add_header("User-Agent",user_agent) #区分大小写 print(request.get_header("User-agent"))

或者通过 fake_useragent 包的UserAgent来随机生成

#使用方法 fake_useragent import UserAgent print(UserAgent().firefox) #火狐的User-Agent print(UserAgent().ie) #ie浏览器 print(UserAgent().opera) #opera浏览器 print(UserAgent().chrome) #谷歌浏览器 print(UserAgent().safari) #safari浏览器 print(UserAgent().random) #任意一家浏览器

1.2 设置代理Proxy

假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！

分类：

透明代理：目标网站知道你使用了代理并且知道你的源IP地址，这种代理显然不符合我们这里使用代理的初衷

匿名代理：匿名程度比较低，也就是网站知道你使用了代理，但是并不知道你的源IP地址

高匿代理：这是最保险的方式，目标网站既不知道你使用的代理更不知道你的源IP

代码如下：

from urllib.request import ProxyHandler from urllib.request import build_opener #proxy = ProxyHandler({"http/https看是那种格式":"ip:port（端口）"}) proxy = ProxyHandler({"http": "119.109.197.195:80"}) #proxy = ProxyHandler({"username（账户）:password（密码）@http/https看是那种格式":"ip:port（端口）"}) #需要密码账户的 opener = build_opener(proxy) url = "http://www.baidu.com" response = opener.open(url) print(response.read().decode("utf-8"))

两种方式一块的

from urllib.request import urlopen from urllib.request import Request from urllib.request import ProxyHandler from urllib.request import build_opener url = 'http://www.server.com/login' headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'} request = Request(url, headers=headers) #还是先生成request文件 proxy = ProxyHandler({"http": "119.109.197.195:80"}) opener = build_opener(proxy)#将ip输入 response = opener.open(requst)#通过opener的open来返回网页源码 print(response.rear().decode())