安卓手机上运行Python爬虫

1. 安装Termux

在软件市场搜索下载安装即可, 这个软件可以让你把手机当Linux电脑使用, 除了屏幕小点儿. 为了敲命令方便, 建议安装输入法: CodeBoard, 功能键几乎都有了 参考自 安卓手机运行python程序的软件：Termux 注: py是因为用了别名 alias py=‘python’

2. 安装环境

很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤ QQ群：961562169

2.1 安装Python

pkg update pkg upgrade apt update apt upgrade apt install python pip install bs4 requests

2.2 安装lxml

apt install clang apt install libxml2 libxml2-dev libxslt libxslt-dev pip install lxml

如果遇到报错 Python.h not found 就执行 apt install python-dev

下载对应脚本

apt install git git clone https://github.com/Kuangcp/PythonLearn.git cd PythonLearn/learning/Spider/scrpy_learn/55156 配置好一个用来存URL的redis数据库 可以是自己远程服务器上也可以是本地 apt install redis执行redis-server即可开启服务

运行这两个脚本前先确定redis以及下载目录配置正确, 只有这两个是需要配置的

然后就可以直接 py simple.py 或者先 py simple.py -h 先看一下参数说明

就会提示 起始爬取的URL, 例如 http://www.55156.com/gaoqingtaotu/xiuren/204409_22.html就开始爬取URL了

打开 同目录下 的 download.py 配置好下载目录 然后py download.py, 或者直接

py download.py `pwd` 就在脚本旁的目录下不停的下载图片了

为了使用方便, 建议配置别名

vi ~/.bashrc

alias py='python' alias img='py simple_path ' # 替换为simple绝对路径 alias down='py download_path' # 替换为down绝对路径

或者

cd 到脚本所在目录然后: echo "alias img='python `pwd`/simple.py' " >> ~/.bashrc echo "alias down='python `pwd`/download.py `pwd` '" >> ~/.bashrc 以后就只要启动termuximg 下载图片urldown 下载图片文件了

又发现一个问题, 因为这个软件的数据是在/data/data/目录下, 而这个目录访问是要 root的, 所以上诉脚本生成别名后, 手动修改为安卓可访问的目录即可

我的手机是 /storge/emulate/0/ 就是存储的根目录