ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

python爬虫之Beautiful Soup库(3)

2021-05-04 17:32:54  阅读:16  来源: 互联网

标签:Beautiful 10 string python tr Soup html tds def


文章目录

一. “中国大学mooc排名定向爬虫”实例

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^10}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型'))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()
    

二.“中国大学mooc排名定向爬虫”实例优化 chr(12288)

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^14}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型',chr(12288)))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]),chr(12288))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()
    

三.注释:

1.查看此网页是否遵循robots协议:
https://www.shanghairanking.cn/robots.txt
如果出现404,则说明没有robots协议。
2.[sublime]将很乱的代码一键对齐:
按ctrl+shift+p,弹出选项,选择下面这项Indentation:Reindent Lines
3.怎么理解soup=BeautifulSoup(html,‘html.parser’)
是指定Beautiful的解析器为“html.parser”
博客参考链接: https://blog.csdn.net/winterto1990/article/details/47806175.
4.isinstance() 函数来判断一个对象是否是一个特定类型,类似于type()函数。
isinstance(tr, bs4.element.Tag) 这一语句可以用来判断tr(一个预先获取或定义的内容)是否属于bs4库中tag类型。
如果是,返回True;如果不是,返回False。
5.系统默认填充的是英文空格,而我们输出占用的是中文字符的宽度。单位不一致,就会出现不能对齐的状况。
——解决方法:

将中文输出部分原先的默认英文空格填充换成中文空格填充,如 chr(12288) ,即可解决问题

标签:Beautiful,10,string,python,tr,Soup,html,tds,def
来源: https://blog.csdn.net/qq_50542033/article/details/116381042

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有