标签：之旅 url text 爬虫 fileName 爬取 headers kw 参数

一、代码

#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
#UA检测是否为正常服务器请求

import requests
headers={'User-Agent':
	'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:92.0) Gecko/20100101 Firefox/92.0'
}
url='https://www.bilibili.com/all'
#处理url携带的参数：封装到字典里
kw=input('enter a word:')
#参数
param={
    'keyword':kw
}
#对指定url发起的请求对应的url是携带参数的，并且在此过程中处理了参数
response=requests.get(url=url,params=param,headers=headers)
page_text=response.text
fileName =kw+'html'
with open(fileName,'w',encoding='utf-8')as fp:
    fp.write(page_text)
print(fileName,'保存成功')

二、显示结果

标签：之旅,url,text,爬虫,fileName,爬取,headers,kw,参数
来源： https://blog.csdn.net/qq_52528413/article/details/120629009

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。