标签：总结 12 框架 项目 YouTube 爬取 scrapy 实训 Worldjournal

项目经过

大致一共经历了以下阶段

1.了解主要任务

2.后端小组经过沟通后，大致确认了YouTube等网站的爬取需要

3.分配到YouTube的我最终确定了爬取数据以及其类型

4.完成关于YouTube爬取的scrapy框架的基本文件的设计

5.完成关于YouTube爬取的scrapy框架的spider.py的设计，并将数据爬取存入mysql数据库

6.临时得到了要爬取新闻网站的任务

7.分配到Worldjournal的我最终确定了爬取数据以及其类型

8.完成关于Worldjournal爬取的scrapy框架的spider.py的设计，并将数据爬取存入mysql数据库

项目工作量

YouTube爬虫：1400行左右

 

 

 

 

Worldjournal爬虫：800行左右

 

 

 

 

项目收获

基本上掌握了scrapy框架的使用，也了解了Java前端与python后端服务连接的过程，以及数据库在其中的定位，还知道了一个公司在面临项目的时候详细的运转过程以及分工，并且认识了很多有丰富项目经验、和蔼可亲的老师和技术过硬的同学。相信这段经历能为以后实习甚至正式岗位上的工作打下基础

标签：总结,12,框架,项目,YouTube,爬取,scrapy,实训,Worldjournal
来源： https://blog.csdn.net/qq_44740561/article/details/119083155

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。