ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

python爬虫之Beautiful Soup库(3)

2021-05-04 17:32:54  阅读:209  来源: 互联网

标签:Beautiful 10 string python tr Soup html tds def


文章目录

一. “中国大学mooc排名定向爬虫”实例

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^10}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型'))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()
    

二.“中国大学mooc排名定向爬虫”实例优化 chr(12288)

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^14}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型',chr(12288)))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]),chr(12288))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()
    

三.注释:

1.查看此网页是否遵循robots协议:
https://www.shanghairanking.cn/robots.txt
如果出现404,则说明没有robots协议。
2.[sublime]将很乱的代码一键对齐:
按ctrl+shift+p,弹出选项,选择下面这项Indentation:Reindent Lines
3.怎么理解soup=BeautifulSoup(html,‘html.parser’)
是指定Beautiful的解析器为“html.parser”
博客参考链接: https://blog.csdn.net/winterto1990/article/details/47806175.
4.isinstance() 函数来判断一个对象是否是一个特定类型,类似于type()函数。
isinstance(tr, bs4.element.Tag) 这一语句可以用来判断tr(一个预先获取或定义的内容)是否属于bs4库中tag类型。
如果是,返回True;如果不是,返回False。
5.系统默认填充的是英文空格,而我们输出占用的是中文字符的宽度。单位不一致,就会出现不能对齐的状况。
——解决方法:

将中文输出部分原先的默认英文空格填充换成中文空格填充,如 chr(12288) ,即可解决问题

标签:Beautiful,10,string,python,tr,Soup,html,tds,def
来源: https://blog.csdn.net/qq_50542033/article/details/116381042

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有