标签：文件 pipelines Python 数据库 py 爬取 patubole 代码 赶集网

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

以下文章来源于云+社区，作者 py3study

转载地址

https://blog.csdn.net/fei347795790?t=1

 

 

一.创建项目

scrapy startproject putu

二.创建spider文件

scrapy genspider patubole patubole.com

三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式，开始编写patubole.py文件。网络的爬取是通过这个文件进行的

以下代码是最终的代码

所建的patubole.py文件必须实现name,parse函数，start_url这三个属性

 

四.将爬取的数据保存到数据库sufang中。

（1）在pycharm中新建数据库

 

 

完成后会出现

 

（2）将数据存放在新建的数据库zufang的数据表sufang中

数据的爬取是由patubole.py实现的，数据的存储是由pipelines.py实现的，pipelines.py又是有items.py提供数据的支持

所以编写items.py

 

此时就要回过头来修改刚开始为了测试编写的patubole.py 文件

代码如下

 

3）在settings.py中进行PatuPipeline文件配置

ITEM_PIPELINES = {

'patu.pipelines.PatuPipeline': 300,

}

（5）pipelines.py文件代码，实现存储数据到数据库中

其中包含SQL的相关知识

 

最终结果

 

其中main.py文件是为了调试方便而添加的，可以不用，直接用相关命令启动爬虫

标签：文件,pipelines,Python,数据库,py,爬取,patubole,代码,赶集网
来源： https://www.cnblogs.com/hhh188764/p/13735501.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。