1. 常见问题
[TOC]
1.1. win10平台上安装与运行scrapy出错
直接执行pip install scrapy
安装会出现如下错误:
错误节选:
ERROR: Failed building wheel for Twisted
error: [WinError 3] 系统找不到指定的路径。: 'C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\PlatformSDK\\lib'
这说明是Twisted安装失败,失败原因是缺少Microsoft Visual Studio 14.0,因此可以先安装该软件,再安装scrapy。但该方法会比较差。。。。
另外一种方法是下载已经编译好的Twisted包(whl文件),然后使用pip安装。(先使用pip install scrapy是先下载源代码,然后再本地进行编译,由于缺少相关的库,编译失败。)
可以在该网址下载:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
根据python版本和自己电脑的型号选择合适的版本,我选的是python3.7的64位版本。
然后使用pip安装该包:
pip install Twisted-19.2.1-cp37-cp37m-win_amd64.whl
接下来就能正常安装scrapy了
1.2. No module named 'win32api'
在新建项目以后,运行爬虫出现如下错误:
scrapy crawl demo
# 错误:
# ModuleNotFoundError: No module named 'win32api'
解决方法:
pip install pypiwin32