ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

scrapy爬虫笔记(安装)

2019-07-25 14:55:17  阅读:214  来源: 互联网

标签:www com 爬虫 笔记 pywin32 scrapy pip 安装


 

我的环境:

win7 32bit 

Anaconda3

python 3.7

 


 

 

如果你是小白可以参考:https://www.cnblogs.com/zlslch/p/8316835.html

 

在python3中需要安装的第三方库:

lxml、zope.interface、twisted、pyoenssl、pywin32,以及最后安装scrapy

安装方式可选择,如果不成功的话就换一种方法。每次安装完可以import一下,如果有问题再排查

conda install ***

pip isntall *** ,如果提示pip版本低的话先升级pip

PyCharm中手动安装

下载相应whl文件在cmd中安装,记得找对应操作系统和python版本的

 

在cmd中输入scrapy如果出现以下结果,表明环境安装ok

 


 

可能出现的问题

 1. pywin32导入失败:

安装后,在本地文件夹内(我的路径D:\Anaconda3\Lib\site-packages\pywin32_system32)找到

将这两个文件复制到:C:\Windows\System32路径下

 

2. 运行scrapy demo时报错:[twisted] CRITICAL: Unhandled error in Deferred

是依赖的包sqlite的问题,虽然是后续运行会出现的问题,但是可以前期先导入看下是否报错

解决方法参考https://www.cnblogs.com/aby321/p/11243566.html

 

3. 运行scrapy报错:You do not have a working installation of the service_identity module

是依赖的包 service_identity的问题,虽然导入没有问题,但是有可能不是最新版本,或者通过pip安装的不是最新版本

解决方法参考https://www.cnblogs.com/aby321/p/11243969.html

 

标签:www,com,爬虫,笔记,pywin32,scrapy,pip,安装
来源: https://www.cnblogs.com/aby321/p/11243929.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有