标签：python request 爬虫 urllib 学习 headers opener cookie url

python爬虫学习7

目录

• • • python爬虫学习7
    • • opener
      • • opener的构造
      • 使用Cookie
      • • 获取网站Cookie
        • 保存cookie到磁盘

• opener

  • opener位于urlopen中，有时我们不使用urlopen（）方法，而是直接构造opener。

• opener的构造

import urllib.request

url = 'https://www.baidu.com'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.12151 SLBChan/11'}

# 构建请求对象
req = urllib.request.Request(url,headers=headers)

# 获取opener对象
opener = urllib.request.build_opener()

resp = opener.open(req)
print(resp.read().decode('utf-8'))

运行结果：

• 使用Cookie

  • 获取网站Cookie

  # 使用Cookie需要用到相关的 Handler。
  
  import http.cookiejar,urllib.request
  
  url = 'https://www.baidu.com'
  headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.12151 SLBChan/11'}
  req = urllib.request.Request(url,headers=headers)
  
  # 声明CookieJar对象
  cookie = http.cookiejar.CookieJar()
  
  # 利用 HTTPCookieProcessor 构件一个 Handler
  handler = urllib.request.HTTPCookieProcessor(cookie)
  
  # 构件 opener
  opener = urllib.request.build_opener(handler)
  resp = opener.open(req)
  
  for i in cookie:
      print(i.name+'='+i.value)
      
  
  

  运行结果：
  

  • 保存cookie到磁盘

  import http.cookiejar,urllib.request
  
  filename = 'cookie.txt'
  url = 'https://www.baidu.com'
  
  # 获取 cookie
  def get_cookie():
      # 实例化一个 MozillaCookieJar
      cookie = http.cookiejar.MozillaCookieJar(filename)
      # 创建 Handler
      handler = urllib.request.HTTPCookieProcessor(cookie)
      # 构件 opener
      opener = urllib.request.build_opener(handler)
      # 发送请求
      resp = opener.open(url)
      # 存储
      cookie.save()
  
  if __name__ == '__main__':
      get_cookie()
  

  运行后可以看到当前目录下出现了一个名为cookie.txt的文件，打开后内容如下：

未完，明日继续，，，

标签：python,request,爬虫,urllib,学习,headers,opener,cookie,url
来源： https://blog.csdn.net/szshiquan/article/details/123237893

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。