标签：__ fp 协程 url list html 标题 down 作者

思想和方法上都很简单

就是要注意我们爬取的xpath路径的问题

此处代码我嫌弃有点慢，就用了多线程下载

代码如下：

```

import requests
from lxml import etree
from concurrent.futures import ThreadPoolExecutor

def base_url(i):
    if (i == 1):
        url = 'https://www.qjnu.edu.cn/channels/9260.html'
    else:
        url='https://www.qjnu.edu.cn/channels/9260_'+str(i)+'.html'
    request = requests.get(url)
    request.encoding = 'utf-8'
    html = etree.HTML(request.text)
    return html

def down_1(html):
    name_list = html.xpath('//div[@class="media"]/h4/a/text()')
    for i in range(len(name_list)):
        with open('学校要问标题.txt', 'a', encoding='UTF-8') as fp:
            fp.write(name_list[i] + '\n')

def down_2(html):
    aut_list = html.xpath('//*[@id="list"]/div/div/span/text()')
    for i in range(len(aut_list)):
        with open('学校要问作者.txt', 'a', encoding='UTF-8') as fp:
            fp.write(aut_list[i][21:] + '\n')


if __name__ == '__main__':
    page = int(input('请输入需要爬取的页数：'))
    with ThreadPoolExecutor(10) as x:
        for i in range(1,page+1):
            html = base_url(i)
            x.submit(down_1,html)
            x.submit(down_2, html)

```

标签：__,fp,协程,url,list,html,标题,down,作者
来源： https://www.cnblogs.com/h-y-26/p/16386673.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。