标签：__ get url self 抓取 toutiao data 头条

import requests
from lxml import etree
import json
import time


class Toutiao(object):
    def __init__(self):
        self.headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
        }

    def get_key_word(self):
        with open('./key_word.txt', 'r') as f:
            data = f.readlines()
        return data

    # def get_url(self, data):
    #     for da in data:
    #         url_list = 'https://www.toutiao.com/api/pc/feed/?category={}&utm_source=toutiao''&widen=1&max_behot_time=0&max_behot_time_tmp=0''&tadrequire=true&as=A1256D1346DF1B7&cp=5D360F210BD7CE1''&_signature=NQO3JgAAaDs8T80zj26hTjUDtz'.format(
    #             da)
    #         for url in url_list:
    #             with open('./url.txt', 'a') as f:
    #                 f.write(url)

    def get_content(self):
        with open('./url.txt', 'r') as f:
            url_list = f.readlines()
            for url in url_list:
                try:
                    response = requests.get(url=url, headers=self.headers)
                    time.sleep(1)
                    response = json.loads(response.content.decode('utf-8'))

                    for re in response["data"]:
                        with open('../bt/bt.txt', 'a+', encoding='utf-8') as f:
                            f.write(re['title'] + '\n')

                        with open('../bt/nr.txt', 'a+', encoding='utf-8') as c:
                            c.write(re['abstract'] + '\n')
                except Exception as e:
                    print(e)


if __name__ == '__main__':
    toutiao = Toutiao()
    data = toutiao.get_key_word()
    # toutiao.get_url(data)
    toutiao.get_content()

标签：__,get,url,self,抓取,toutiao,data,头条
来源： https://www.cnblogs.com/victorstudy/p/11237288.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。