近期自学python,在安装scrapy时遇到了超时的问题,经过查看相关教程和不断摸索,最终成功安装,现把安装过程做记录并且分享给大家,希望有所帮助。
安装步骤(此处先PO出在无意外情况下安装scrapy的步骤,如在安装过程中有遇到问题,可以参考文末的“其他问题解决方法”)。
根据所学教程里面,安装scrapy需要有5个步骤,如下:
安装wheel是为了twisted做准备的。安装步骤简单,只需输入:
python -m pip install wheel 等待安装即可
点击链接twisted下载链接,找到twisted(如下图),根据操作系统和你的python版本,下载对应的文档即可。
下载好twisted以后,需要进行安装。我把下载好的文件保存在了D:\Python\Scripts下,因此,需要进入到该目录下才能进行安装。即在cmd模式下,输入cd D:\Python\Scripts后,再执行python -m pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl(文件名请复制自己下载的那个文件名称),否则可能会提示找不到文件。
这个没啥特殊,直接执行python -m pip install pywin32即可。
同样,直接执行python -m pip install scrapy
安装到这里,如无意外,再强调一遍,如无意外,那么安装就算成功了。在cmd下,输入scrapy,出现下图,则说明安装scrapy成功:
那么,如果在安装过程中,出现问题该怎么办呢?会出现什么问题呢?下面我将一一罗列我在安装过程中遇到的问题。
在使用python -m pip install --upgrade pip时,下载了几秒后提示超时,无法继续下载。查看了几篇大神的回答,解决超时问题,只需在更新pip时加入 -i https://pypi.doubanio.com/simple/ 。
即:python -m pip install -i https://pypi.doubanio.com/simple/ --upgrade pip
或者:python -m pip install -U --force-reinstall -i https://pypi.doubanio.com/simple/ pip (这个应该是强制更新)
这个解决方法在后续遇到其他的read timed out问题时一样适用(至少帮助我解决了在安装scrapy中遇到的问题,至于原理我还没太懂,如果有大牛看到这篇文章还烦请解答一下)。
查了一下,关于zope.interface的解释很是抽象,可能对于小白来说暂时还不需要理解(主要是我也没理解),只需知道这是在安装scrapy时必备的包。
针对截图的问题,执行:python -m pip install Zope.interface 可解决。如果又出现read timed out或者是截图的报错,那就加上-i https://pypi.doubanio.com/simple/,亲测好用。
如下图,这个是在我更新了pip之后,才出现的报错。
于是百度了一下,找到了相关的解释描述以及解决方式。以下评论大致意思是2020年10月推出了新版本pip,建议用户运行一下--use-feature=2020-resolver。
怎么运行呢?需要进行的操作是:python -m pip install example --use-feature=2020-resolver,然后等待下载安装完成即可,如果还是下载不了,记得参考问题一,加入-i https://pypi.doubanio.com/simple/。截图来自:参考链接
以上就是关于我在安装scrapy中遇到的问题及解决方法,希望对像我一样的小白有帮助。如有错误,欢迎指正。
另看到有的网友说,安装scrapy不需要那么麻烦,直接运行python -m pip install scrapy即可,由于不具备测试条件,就没办法验证了。如果各位验证了这个方法,不妨也分享下。
