标签：__ 4.1 python text 爬虫 headers 报错 url

简单python爬虫

 在创建的python文件中输入下列代码：

# coding:utf-8
import requests
from bs4 import BeautifulSoup

def spider(url,headers):
    with open('renming.txt', 'w', encoding='utf-8') as fp:
        r = requests.get(url, headers=headers)
        r.encoding = 'gb2312'
        # test=re.findall('<li>< a href= >(.*?)</ a></li>',r.text)
        # print(test)
        soup = BeautifulSoup(r.text, "html.parser")
        for news_list in soup.find_all(class_="list14"):
            content = news_list.text.strip()
            fp.write(content)
    fp.close()

if __name__=="__main__":
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) '
                             'AppleWebKit/537.36 (KHTML, like Gecko)'
                             ' Chrome/55.0.2883.87 Safari/537.36'}  

    url = 'http://www.people.com.cn/'
    spider(url, headers)

如果代码中存在报错，请在PyCharm最下边找到Terminal，点击Terminal后Pycharm底部控制台处会出现其自带的命令行窗口，输入下面两条命令即可解决报错：pip install requestspip install bs4解决完报错之后，在代码文件的任意处右击，点击Run，之后就会发现在代码文件目录中出现了renmin.txt，里面是爬取的人民网的数据。

标签：__,4.1,python,text,爬虫,headers,报错,url
来源： https://www.cnblogs.com/liujinhui/p/16382415.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。