python爬取鬼灭漫画+简单JS分析

Python实战社群

Java实战社群

长按识别下方二维码，按需求添加

扫码关注添加客服

进Python社群▲

扫码关注添加客服

进Java社群▲

作者丨皖渝

源自丨快学python（ID：kxpython）

本次爬取仅供学习，无任何商业用途

猪油骨，拿来卤~今天，来分享一下python图片爬取+简单JS分析

爬取网址：漫画地址(这个网站只更新到188话，实际上已经有200多话了)

一、获取所有章节URL地址

打开网址后，使用Chrome抓包，发现所有章节的数据如下所示：

def get_html(url):     r=requests.get(url,headers=header)     r.encoding='gbk'     if r.status_code==200:         return r.text     except:         print('网络连接异常') def get_total_chapter():     data=json.loads(get_html(url))     chapter_total=data['Comics'][2]['Chapters']     for item in chapter_total:         yield item.get('Url')

二、解析图片地址，进行简单JS解密

点击进入第一话后，分析网页源码，发现图片保存在a标签下的img中，但是需要爬取的src是用javascript写的！这个时候直接用lxml库去解析是拿不到图片的。这里，我们先分析图片链接的组成，用正则把提取出来即可。

src='"+m201304d+"newkuku/2016/02/15/鬼灭之刃][第1话/JOJO_001513.jpg'

其中，m201304是加密的部分，这个网站比较简单，直接找到js4.js文件，即可发现m201304对应的是http://v2.kukudm.com/，除此之外还有三个加密码，我们可以构建成列表，用if判断是否含如下加密码，再用replace替换即可。

三、翻页分析

分析URL可知，第一话共54页，通过改变末尾的/number.html即可实现翻页

全部代码

所有图片都放在桌面的comic文件夹下

import requests import json import os import re import time os.chdir('C:/Users/dell/Desktop/comic') url='https://api.soman.com/soman.ashx?action=getsomancomicdetail&comicname=%E9%AC%BC%E7%81%AD%E4%B9%8B%E5%88%83&source=kuku%E5%8A%A8%E6%BC%AB' header={'user-agent':"Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10"} def get_html(url):     r=requests.get(url,headers=header,timeout=5)     r.encoding='gbk'     if r.status_code==200:         return r.text     else:         print('网络连接异常') def get_total_chapter():     data=json.loads(get_html(url))     chapter_total=data['Comics'][2]['Chapters']     for item in chapter_total:         yield item.get('Url')          def save_items(url,count):     r=requests.get(url,headers=header,timeout=5)     with open('./第{}话/'.format(count)+str(int(time.time()))+'.jpg','wb') as f:         f.write(r.content) def get_all_img():  #得到每话总图片数     src_list=["m200911d","m201001d","m201304d","k0910k"]     count=0     for chapter in get_total_chapter():         try:             count+=1             os.makedirs('./第{}话'.format(count))             pat='共(.*?)页'             total_page=re.search(pat,get_html(chapter)).group(1)             for page in range(1,int(total_page)+1):                 pat1='<IMG SRC=(.*)></a>'                 src=re.search(pat1,get_html(chapter)).group(1)                 for item in src_list:                     if item in src_list:                         src=src.replace("+"+item+"+",'http://v2.kukudm.com/').replace('"','')                             save_items(eval(src),count)                 print('第{}话第{}页爬取完成'.format(count,page))                 now_page=re.search('.*/(.*)\.htm',chapter).group(1)                 chapter=chapter.replace(str(now_page)+'.htm',str(page+1)+'.htm')         except:             print('未爬取到数据') if __name__=='__main__':     get_all_img()

最终爬取的漫画如下(这里仅作示例，只爬取了前10话的内容)：10话大概爬取了25分钟左右，算下来，爬完188话，也要7个多小时....后续可以用多进程方法加速一下爬取速度。

程序员专栏 扫码关注填加客服 长按识别下方二维码进群 近期精彩内容推荐：   程序员写的这一行代码，被国家博物馆收藏了 2020 年 9 月程序员工资统计，我扯后腿了~ 提高国内访问 GitHub 的速度的 9 种方案 Python是强类型语言，还是弱类型语言？ 在看点这里好文分享给更多人↓↓