标签：11 info 题目 16 url list 爬取 2021 page
爬取OJ题目和重交信息通知
一、爬取南阳理工OJ题目
1.初步分析
爬取网站：http://www.51mxd.cn/
爬取信息：我们需要爬取其题号,难度,标题,通过率,通过数/总提交数：
右击查看网页源代码：
在其中Ctrl + F 搜索该页的某一个题目（此处以红黑树为例）：
能够搜索到，说明此数据不是动态加载，可直接get该页面以获取！！
按F12 打开开发者工具，在Element中点击箭头工具（如下图②所示），点击一个题目，可在Element中显示：
可发现，每一行信息都在一个标签中，每个小信息都在一个标签的字符串里面，在Element中Ctrl + F 搜索<td，可发现有700个。
一页有100个题目，一行有7个，正好是700个，因此只需要获取所有标签：
分析完成后，开始编写代码。
2.代码编写
import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm
# 模拟浏览器访问
Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
# 表头
csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']
# 题目数据
subjects = []
# 爬取题目
print('题目信息爬取中：\n')
# tqdm作业：以进度条方式显示爬取进度
# 爬取11页所有题目信息
for pages in tqdm(range(1, 11 + 1)):
# get请求第pages页
r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)
# 判断异常
r.raise_for_status()
# 设置编码
r.encoding = 'utf-8'
# 创建BeautifulSoup对象，用于解析该html页面数据
soup = BeautifulSoup(r.text, 'lxml')
# 获取所有td标签
td = soup.find_all('td')
# 存放某一个题目的所有信息
subject = []
# 遍历所有td
for t in td:
if t.string is not None:
subject.append(t.string) # 获取td中的字符串
if len(subject) == 5: # 每5个为一个题目的信息
subjects.append(subject)
subject = []
# 存放题目
with open('NYOJ_Subjects.csv', 'w', newline='') as file:
fileWriter = csv.writer(file)
fileWriter.writerow(csvHeaders) # 写入表头
fileWriter.writerows(subjects) # 写入数据
print('\n题目信息爬取完成！！！')
运行测试：
爬取成功：
二、爬取学校信息通知
爬取网站：http://news.cqjtu.edu.cn/xxtz.htm
爬取内容：日期 + 标题
第一页url为http://news.cqjtu.edu.cn/xxtz.htm，第二页为http://news.cqjtu.edu.cn/xxtz/65.htm，第三页为http://news.cqjtu.edu.cn/xxtz/64.htm
一共66页，由此可表示如下：
base_url = "http://news.cqjtu.edu.cn/xxtz/"
for i in range(1, 67):
if(i == 1):
url = 'http://news.cqjtu.edu.cn/xxtz.htm'
else:
url = base_url + str(67 - i) + '.htm'
print(url)
2.每页内容爬取
查找时间与标题位置:
代码内容：
import requests
from bs4 import BeautifulSoup
import csv
# 获取每页内容
def get_one_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}
try:
info_list_page = [] # 一页的所有信息
resp = requests.get(url, headers=headers)
resp.encoding = resp.status_code
page_text = resp.text
soup = BeautifulSoup(page_text, 'lxml')
li_list = soup.select('.left-list > ul > li') # 找到所有li标签
for li in li_list:
divs = li.select('div')
date = divs[0].string.strip()
title = divs[1].a.string
info = [date, title]
info_list_page.append(info)
except Exception as e:
print('爬取' + url + '错误')
print(e)
return None
else:
resp.close()
print('爬取' + url + '成功')
return info_list_page
# main
def main():
# 爬取所有数据
info_list_all = []
base_url = 'http://news.cqjtu.edu.cn/xxtz/'
for i in range(1, 67):
if i == 1:
url = 'http://news.cqjtu.edu.cn/xxtz.htm'
else:
url = base_url + str(67 - i) + '.htm'
info_list_page = get_one_page(url)
info_list_all += info_list_page
# 存入数据
with open('教务新闻.csv', 'w', newline='', encoding='utf-8') as file:
fileWriter = csv.writer(file)
fileWriter.writerow(['日期', '标题']) # 写入表头
fileWriter.writerows(info_list_all) # 写入数据
if __name__ == '__main__':
main()
运行：
查看爬取文件：
爬取成功！！！
三、总结
本文粗略介绍了网络爬虫，并通过爬虫程序的编写，进一步理解HTTP协议。实现了对南阳理工学院ACM题目网站练习题目数据的抓取和保存，以及对重交新闻网站中近几年所有的信息通知发布日期和标题进行爬取和保存。学习爬虫之后，可以让我们方便地获取更多的数据源，从而进行更深层次更有效的数据分析，获得更多的价值。
标签：11,info,题目,16,url,list,爬取,2021,page 来源： https://blog.csdn.net/weixin_50909683/article/details/121352785
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。