如何爬取百度热榜
首先是设计方案
一、设计方案
1.爬虫名称：爬取百度热榜
2.爬取内容：爬取网页热搜排名，标题，热度值。
3.方案概述：访问网页得到状态码200，分析网页源代码，找出所需要的的标签，逐个提取标签保存到相同路径csv文件中，读取改文件，进行数据清洗，数据模型分析，数据可视化处理，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和绘制拟合曲线。
技术难点：做数据分析，即求回归系数，因为标题是文字，无法与数字作比较，需要把标题这一列删除才可。由于不明原因，输出结果经常会显示超出列表范围。
二、主题页面的结构特征分析
1.主题页面的结构与特征分析：发现前三的排名标签是‘span.num-top’ 第四名开始的标签又是‘span.num-normal’，所以找统一的标签，即' td.first '.标题标签为' a.list-title '.热度标签 ' span.icon-rise '.
2.页面解析：
标签：span,标签,标题,爬取,热榜,百度 来源： https://blog.51cto.com/u_11208931/2772644
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。