标签：-- py 爬虫 twisted scrapy 常用命令 scarpy 安装 下载

• scrapy环境的搭建
  • pip install wheel (服务第2步与第3步操作)
  • 下载twisted包 (scrapy借助它完成了异步数据下载)，下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
  • 安装twisted: pip install 下好的twisted包名 (对应的python版本就下载)
  • pip install pywin32
  • pip install scrapy

注意下载twisted包 时要与python版本兼容，否则可能会出问题

python3.7的版本就下载

python3.6的版本就下载

测试：在终端里录入scrapy指令，没有报错即表示安装成功！

• 创建一个工程： 使用cmd命令执行：scrapy startproject 工程名称
  • cd 工程名称
  • scrapy genspider 爬虫名称 www.xxx.com
  • 执行工程：在cmd中执行
    • scrapy crawl 爬虫名称 【–nolog】#表示不打印日志信息，同时也会忽略错误信息

 - 项目结构：
    |-- proName
       |-- reProName
            |--spiders 【爬虫文件夹，放置爬虫文件，】
                |-- 爬虫源文件.py 【命令创建：scrapy genspider 爬虫名称 www.xxx.com】
            |-- init.py 【】
            |-- items.py 【将解析到的数据封装到item对象中】
            |-- middlewares.py 【中间件】
            |-- pipelines.py 【管道文件：用于清洗、验证、导出到外部文件、存储到数据库等,一个管道类对应一个持久化存储方式】
                管道文件中可以自定义管道类，定义之后的管道类需要到配置文件中注册
            |-- settings.py 【工程的配置文件】
       |-- scrapy.cfg

标签：--,py,爬虫,twisted,scrapy,常用命令,scarpy,安装,下载
来源： https://blog.csdn.net/weixin_46435234/article/details/117334674

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。