ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

爬虫笔记24:Scrapy概述、Scrapy的工作流程、Scrapy快速入门

2021-06-14 22:01:46  阅读:134  来源: 互联网

标签:24 douban www 爬虫 Scrapy com scrapy


一、Scrapy概述
1、什么是?
异步爬虫框架
2、Scrapy它有什么优势?
可配置和可扩展性非常高;
Scrapy框架是基于Twisted异步网络框架:复杂 、闭包
(更多参考http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html)

二、Scrapy的工作流程
在这里插入图片描述
在这里插入图片描述
红框中就是我们通常需要编写的。

三、Scrapy快速入门
目标url:https://www.douban.com/
需求:爬取的内容 、标题。如下图:

第一步 、创建scrapy项目
在dos命令行 或者pycharm终端输入:
scrapy startproject mySpider(scrapy项目的名称)

结果:
在这里插入图片描述
第二步 创建爬虫程序
根据上一步结果中的提示:
在这里插入图片描述
继续在cmd中输入cd mySpider,之后,又因为我们要爬取的网站是www.douban.com,我们继续输入
scrapy genspider douban “douban.com” (douban是爬虫的名字 ;douban.com是爬取的范围)

结果:
在这里插入图片描述

标签:24,douban,www,爬虫,Scrapy,com,scrapy
来源: https://blog.csdn.net/weixin_49167820/article/details/117910450

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有