Scrapy 爬虫框架讲解!
我就弄明白这些了!
一、Scrapy 安装
1、如果安装的是标准的 python3,需要先安装好前 5 个包,再安装 scrapy。
就逐个安装一遍好了,已经安装了,也无所谓。
(1)安装 lxml 包:pip install lxml
(2)安装 zope.interface 包:pip install zope.interface
(3)安装 Twisted 包,网络驱动引擎:pip install twisted
(4)安装 pyOpenssl 包:pip install pyopenssl
(5)安装 win32py 包:pip install win32py
(6)安装 scrapy 包:pip install scrapy
在上面的安装过程中,可能出现提示 pip 版本低,先升级 pip(按提示的命令
操作就可以了),或者出现缺少相关联的包,或者相关联的包版本低的错误。反
正很大机会出现各种错误。
后来找到了下面的方法安装。
2、不用标准的 python3,安装 anaconda 的 python3,直接去官网 hps://
www.anaconda.com/download/下载就可以了。下载安装好 anaconda 后,用下面
的命令安装 scrapy 就行。
conda install scrapy
缺啥少啥都不用你操心,他都自己搞定。
评论0