标签：url spider Agent User fake print userAgent bytesHtml

"""
使用随机User-Agent库，
爬取笔趣阁万古天帝章节目录

"""

import requests
from fake_useragent import FakeUserAgent
import random
import chardet
def biquge():
    # 定义url，
    url = "https://www.biqudao.com/bqge25289/"

    # 使用第三方库随机获得一个userAgent
    userAgent = FakeUserAgent().random
    print(userAgent)
    print(type(userAgent))

    # 传入字典中
    headers= {
        "User-Agent":userAgent
    }
    # 返回字节流数据
    bytesHtml=requests.get(url,headers=headers).content
    # 判断网页编码格式,返回一个字典
    res=chardet.detect(bytesHtml)
    # 解码
    html=bytesHtml.decode(res["encoding"])
    print(html)

biquge()

标签：url,spider,Agent,User,fake,print,userAgent,bytesHtml
来源： https://www.cnblogs.com/YangQingHong/p/10978251.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。