标签：网页 get Python text 取酷 rank url time TOP500

该文利用Requests和BeautifulSoup第三方库，爬去酷狗网榜单中酷狗TOP500的信息。

首先分析页面：https://www.kugou.com/yy/rank/home/1-8888.html

网页版酷狗不能手动翻页，进行下一步的浏览，但观察url可以尝试把1-8888的1替换成为2，在进行浏览，恰好返回的是第二页的信息。

经过多次尝试。发现更换不同数字，即跳转不同的页面，因此只需要更改home/后面的数字即可，由于每页只显示22条信息，所以我们抓取前500总共需要23个页面。

我们爬取的信息由排名情况、歌手、歌曲名和歌曲时长。

代码如下：

import requests
from bs4 import BeautifulSoup
import time

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}

def get_info(url):
    wb_data = requests.get(url,headers=headers)
    soup = BeautifulSoup(wb_data.text,'lxml')
    ranks = soup.select('span.pc_temp_num')
    titles = soup.select('div.pc_temp_songlist > ul > li > a')
    times = soup.select('span.pc_temp_tips_r > span')
    for rank,title,time in zip(ranks,titles,times):
        data = {
            'rank':rank.get_text().strip(),
            'singer':title.get_text().split('-')[0],
            'song':title.get_text().split('-')[0],
            'time':time.get_text().strip()
        }
        print(data)

if __name__ == '__main__':
    urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html'.format(str(i)) for i in range(1,24)]
    for url in urls:
        get_info(url)
        time.sleep(1)

 程序分析：

1. 第1-3行导入程序需要的库，Requests库用于请求网页获取网页数据，BeautifulSoup库用于解析网页数据，time库的sleep()方法可以让程序暂停
2. 第5-8行通过Chrome浏览器的开发者工具，复制User-Agent，用于伪装为浏览器，便于爬虫的稳定性。
3. 第10-23行，定义get_info()函数，用于获取网页信息并输出。传入url后，进行请求和解析，通过Chrome浏览器的“检查”并Copy selector获取相应的信息，由于信息数据为列表数据结构，因此可以通过多重循环，构造字典类型，输出并打印信息。
4. 第25-29行，作为程序的主入口，通过对网页url的观察，利用列表的推导式构造23个url，并依次调用get_info()函数，time.sleep(1)的意思是每循环一次，让程序暂停一秒，防止请求网页频率过快而导致爬虫失败。

实现效果：

标签：网页,get,Python,text,取酷,rank,url,time,TOP500
来源： https://blog.csdn.net/qq_41823684/article/details/118596584

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。