标签：章节 协程 网址 十三 find url food 食物 page

章节十三：协程实践

目录

• 章节十三：协程实践
  • 1. 复习
  • 2. 项目实操
    • 2.1 明确目标
    • 2.2 分析过程
    • 2.3 提取数据
    • 2.4 代码实现

吃什么不会胖——这是我前段时间在健身时比较关注的话题。

相信很多人，哪怕不健身，也会和我一样注重饮食的健康，在乎自己每天摄入的食物热量。

不过，生活中应该很少有人会专门去统计自己每日摄入的食物热量。显然这样做多少有一些麻烦。可能你得下载一个专门查询热量的APP，填写食物的名字，一个个地去查询。

但其实利用爬虫，我们可以很简单就爬取到这些食物的热量信息，不用费力就能知道自己摄入了多少食物热量。

食物的数量有千千万，如果我们要爬取食物热量的话，这个数据量必然很大。

可能你会想到可以使用多协程来爬取。确实，使用多协程来爬取大量的数据是非常合理且明智的选择。

1. 复习

关于多协程的用法，我们在上一关已经讲过了，这里照旧简单复习一下。

2. 项目实操

说回爬取食物热量的事，如果我们要爬取的话，那就得选定一个有存储食物热量信息的网站才能爬到数据。

我倒是知道一个这样的网站——薄荷网。它是一个跟健身减肥有关，且可以查询食物数据的网站。

我们选取这个网站进行食物热量的爬取的话，既能将上一关学到的协程知识实践起来，又能获得一份食物热量表，还是蛮两全其美的。

那么，我们这一关的项目就可以定为：用多协程爬取薄荷网的食物热量。

2.1 明确目标

你也知道，我们在做一个项目时，不是上来就写代码的，最先要做的是明确目标。

现在，请你先用浏览器打开薄荷网的链接：

http://www.boohee.com/food/

打开了吗？一定要真的打开了哦！

简单浏览一下这个网站，你会发现一共有11个常见食物分类——

点击【谷薯芋、杂豆、主食】这个分类，你会看到在食物分类的右边，有10页食物的记录，包含了这个分类里食物的名字，及其热量信息。点击食物的名字还会跳转到食物的详情页面。

至此，我们的项目目标可以定为：用多协程爬取薄荷网11个常见食物分类里的食物信息（包含食物名、热量、食物详情页面链接）。

2.2 分析过程

目标明确好后，我们接着【分析过程】，这一步骤对于项目成功与否起着关键的作用。

我们可以从爬虫四步（获取数据→解析数据→提取数据→存储数据）入手，开始逐一分析。

想要获得食物热量的数据，我们得先判断这些数据具体存在哪里。

第7关的时候，我们讲过判断数据存储在哪里的方法。请你右击打开“检查”工具，并点击Network，然后刷新页面。点击第0个请求1，看Response。

我们能在Response里找到食物的信息，说明我们想要的数据存在HTML里。

再看第0个请求1的Headers，可以发现薄荷网的网页请求方式是get。

知道了请求方式是get，我们就知道可以用requests.get()获取数据。

先关闭“检查”工具。我们接着来观察，每个常见食物分类的网址和每一页食物的网址有何规律。

点击第一个分类【谷薯芋、杂豆、主食】，网址显示的是：

http://www.boohee.com/food/group/1

点击第二个分类【蛋类、肉类及制品】，网址变成：

http://www.boohee.com/food/group/2

我们可以做个猜想：网址的group参数代表着常见食物分类，后面的数字代表着这是第几个类。

只要再多点击几个常见食物分类看看，就能验证我们的猜想。

果然，常见食物分类的网址构造是有规律的。前10个常见食物分类的网址都是：

http://www.boohee.com/food/group/+数字

唯独最后一个常见食物分类【菜肴】的网址与其他不同，是：

http://www.boohee.com/food/view_menu

每个常见食物分类网址的规律我们找到了。现在看回【谷薯芋、杂豆、主食】这个分类，点击翻到第2页的食物记录，我们看看网址又会发生怎样的变化。

网址从http://www.boohee.com/food/group/1变成了：

http://www.boohee.com/food/group/1?page=2

网址多了page这个参数。数字2是不是第2页的意思？我们往后再翻两页看看。

原来?page=数字真的是代表页数的意思。只要改变page后面的数字，就能实现翻页。

可是为什么第1页的食物记录的网址在最开始是：

http://www.boohee.com/food/group/1，没有加?page=1呢？

难道是网站默认不显示的？我们试下给http://www.boohee.com/food/group/1加上?page=1，看看会怎样。

http://www.boohee.com/food/group/1?page=1

你会发现，其实加上了?page=1，打开的同样还是第1页的食物记录。

基于我们上面的观察，可以得出薄荷网每个食物类别的每一页食物记录的网址规律——

接下来，我们来分析怎么解析数据和提取数据。

2.3 提取数据

前面我们知道薄荷网的食物热量的数据都存在HTML里，所以等下就可以用BeautifulSoup模块来解析。

至于怎么提取数据，我们得先弄清楚HTML的结构才行。

右击打开“检查”工具，看Elements，点击光标，把鼠标移到食物【Easy Fun 紫薯营养粥】这里，会发现在<li class="item clearfix">元素下，藏有食物的信息，包括食物详情的链接、食物名和热量。

你点击href="/shiwu/fdd9b123"，就会跳转到【Easy Fun 紫薯营养粥】的详情页面。

你再把鼠标接着移到其他食物上，你就会发现：原来每个食物的信息都被分别藏在了一个<li class="item clearfix">…</li>标签里。每页食物记录里有10个食物，刚好对应上网页源代码里的10个<li class="item clearfix">…</li>标签。

这么看来的话，我们用find_all/find就能提取出<li class="item clearfix">…</li>标签下的食物详情链接、名称和热量。

提取完数据，我们从csv和openpyxl模块中任意选择使用其中一个模块，把数据存储起来，项目就可以完工啦。

总结一下我们刚刚分析得出的思路：

下面，应该是你做项目时最期待的一步——代码实现。

2.4 代码实现

基于前面的【分析过程】，此时我们已经有了实现项目的思路。我们只要把这些思路变成代码，就能完成项目——用多协程爬到薄荷网的食物热量数据。

正式开始写代码~

#导入所需的库和模块：

from gevent import monkey
monkey.patch_all()
#让程序变成异步模式。
import gevent,requests, bs4, csv
from gevent.queue import Queue

写代码的第一件事，都是先导入我们所需要的库和模块。

根据项目目标和分析过程得出的思路，我们知道需要用到实现协程功能的gevent库、queue、monkey模块，以及requests、BeautifulSoup、csv模块。

接下来的代码，需要由你来写。请你按照要求，先试着写出来，等下我再给你看我写的代码。

代码要求：导入所需模块，并根据前面分析得出的网址规律，用for循环构造出前3个常见食物类别的前3页食物记录的网址和第11个常见食物类别的前3页食物记录的网址，并把这些网址放进队列，打印出来。

用Queue()创建了空的队列。通过两个for循环，构造了前3个常见食物分类的前3页的食物记录的网址。

由于第11个常见食物分类的网址比较特殊，要分开构造。然后把构造好的网址用put_nowait方法，都放进队列里。

你可以运行这个代码，把队列打印出来看看。

#导入所需的库和模块：
from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queue

work = Queue()
#创建队列对象，并赋值给work。

#前3个常见食物分类的前3页的食物记录的网址：
url_1 = 'http://www.boohee.com/food/group/{type}?page={page}'
for x in range(1, 4):
    for y in range(1, 4):
        real_url = url_1.format(type=x, page=y)
        work.put_nowait(real_url)
#通过两个for循环，能设置分类的数字和页数的数字。
#然后，把构造好的网址用put_nowait添加进队列里。
      
#第11个常见食物分类的前3页的食物记录的网址：
url_2 = 'http://www.boohee.com/food/view_menu?page={page}'
for x in range(1,4):
    real_url = url_2.format(page=x)
    work.put_nowait(real_url)
#通过for循环，能设置第11个常见食物分类的食物的页数。
#然后，把构造好的网址用put_nowait添加进队列里。

print(work)
#打印队列

一共打印出了12个网址，分别是【谷薯芋、杂豆、主食】前3页食物记录的网址、【蛋类、肉类及制品】前3页食物记录的网址、【奶类及制品】前3页食物记录的网址和最后一个常见食物分类【菜肴】前3页食物记录的网址。

作为教学演示，我们这里不会真的把薄荷网的11个常见食物分类里的所有页数的食物都爬取下来。因为这样做，会给薄荷网的服务器增添负担，并不是道义的做法，所以我也不推荐你这么去做。

接着，我们要写的是最核心的爬取代码——使用gevent帮我们爬取数据。

你还记得用gevent实现多协程的重点是什么吗？

我们得先定义一个爬取函数。请认真看下面的代码，后面练习环节需要你自己把这些代码都写出来的。

def crawler():
#定义crawler函数
    headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
    }
    #添加请求头
    while not work.empty():
    #当队列不是空的时候，就执行下面的程序。
        url = work.get_nowait()
        #用get_nowait()方法从队列里把刚刚放入的网址提取出来。
        res = requests.get(url, headers=headers)
        #用requests.get获取网页源代码。
        bs_res = bs4.BeautifulSoup(res.text, 'html.parser')
        #用BeautifulSoup解析网页源代码。
        foods = bs_res.find_all('li', class_='item clearfix')
        #用find_all提取出<li class="item clearfix">标签的内容。
        for food in foods:
        #遍历foods
            food_name = food.find_all('a')[1]['title']
            #用find_all在<li class="item clearfix">标签下，提取出第2个<a>元素title属性的值，也就是食物名称。
            food_url = 'http://www.boohee.com' + food.find_all('a')[1]['href']
            #用find_all在<li class="item clearfix">元素下，提取出第2个<a>元素href属性的值，跟'http://www.boohee.com'组合在一起，就是食物详情页的链接。
            food_calorie = food.find('p').text
            #用find在<li class="item clearfix">标签下，提取<p>元素，再用text方法留下纯文本，也提取出了食物的热量。              
            print(food_name)
            #打印食物的名称。

上面定义crawler函数的代码，可能你看到提取数据的部分会有疑惑的点。

不过，对照着看HTML的结构，应该就能解开你的疑惑。我们想要的食物详情链接和名称在<li class="item clearfix">标签的第2个<a>元素里，用find_all就能提取出来。食物热量在<p>元素里，我们用find提取就可以。

定义完了crawler函数，整个核心代码就差用gevent.spawn()创建任务和用gevent.joinall()执行任务，启动协程，就能开始爬取我们想要的数据。

我希望最后的核心能由你来补全。所以，请你在下面代码的基础上，写出crawler函数和启动协程的代码，完成爬取数据的任务。

你可以运行这个代码，看看能不能成功爬取到食物的数据。

#导入所需的库和模块：
from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queue

work = Queue()
#创建队列对象，并赋值给work。

#前3个常见食物分类的前3页的食物记录的网址：
url_1 = 'http://www.boohee.com/food/group/{type}?page={page}'
for x in range(1, 4):
    for y in range(1, 4):
        real_url = url_1.format(type=x, page=y)
        work.put_nowait(real_url)
#通过两个for循环，能设置分类的数字和页数的数字。
#然后，把构造好的网址用put_nowait添加进队列里。
    
#第11个常见食物分类的前3页的食物记录的网址：
url_2 = 'http://www.boohee.com/food/view_menu?page={page}'
for x in range(1,4):
    real_url = url_2.format(page=x)
    work.put_nowait(real_url)
#通过for循环，能设置第11个常见食物分类的食物的页数。
#然后，把构造好的网址用put_nowait添加进队

def crawler():
#定义crawler函数
    headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
    }
    #添加请求头
    while not work.empty():
    #当队列不是空的时候，就执行下面的程序。
        url = work.get_nowait()
        #用get_nowait()方法从队列里把刚刚放入的网址提取出来。
        res = requests.get(url, headers=headers)
        #用requests.get获取网页源代码。
        bs_res = bs4.BeautifulSoup(res.text, 'html.parser')
        #用BeautifulSoup解析网页源代码。
        foods = bs_res.find_all('li', class_='item clearfix')
        #用find_all提取出<li class="item clearfix">标签的内容。
        for food in foods:
        #遍历foods
            food_name = food.find_all('a')[1]['title']
            #用find_all在<li class="item clearfix">标签下，提取出第2个<a>元素title属性的值，也就是食物名称。
            food_url = 'http://www.boohee.com' + food.find_all('a')[1]['href']
            #用find_all在<li class="item clearfix">标签下，提取出第2个<a>元素href属性的值，跟'http://www.boohee.com'组合在一起，就是食物详情页的链接。
            food_calorie = food.find('p').text
            #用find在<li class="item clearfix">标签下，提取<p>元素，再用text方法留下纯文本，就提取出了食物的热量。              
            print(food_name)
            #打印食物的名称。

     
tasks_list = []
#创建空的任务列表
for x in range(5):
#相当于创建了5个爬虫
    task = gevent.spawn(crawler)
    #用gevent.spawn()函数创建执行crawler()函数的任务。
    tasks_list.append(task)
    #往任务列表添加任务。
gevent.joinall(tasks_list)
#用gevent.joinall方法，启动协程，执行任务列表里的所有任务，让爬虫开始爬取网站。

至此，项目的核心代码已经完成，只要再加上存储数据的代码，我们就完成了整个项目的【代码实现】步骤。

我选取了csv模块来做存储数据的演示。

from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queue

work = Queue()
url_1 = 'http://www.boohee.com/food/group/{type}?page={page}'
for x in range(1, 4):
    for y in range(1, 4):
        real_url = url_1.format(type=x, page=y)
        work.put_nowait(real_url)

url_2 = 'http://www.boohee.com/food/view_menu?page={page}'
for x in range(1,4):
    real_url = url_2.format(page=x)
    work.put_nowait(real_url)

def crawler():
    headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
    }
    while not work.empty():
        url = work.get_nowait()
        res = requests.get(url, headers=headers)
        bs_res = bs4.BeautifulSoup(res.text, 'html.parser')
        foods = bs_res.find_all('li', class_='item clearfix')
        for food in foods:
            food_name = food.find_all('a')[1]['title']
            food_url = 'http://www.boohee.com' + food.find_all('a')[1]['href']
            food_calorie = food.find('p').text
            writer.writerow([food_name, food_calorie, food_url])
            #借助writerow()函数，把提取到的数据：食物名称、食物热量、食物详情链接，写入csv文件。
            print(food_name)

csv_file= open('C://Users//17310//Desktop//ceshi//boohee.csv', 'w', newline='')
#调用open()函数打开csv文件，传入参数：文件名“boohee.csv”、写入模式“w”、newline=''。
writer = csv.writer(csv_file)
# 用csv.writer()函数创建一个writer对象。
writer.writerow(['食物', '热量', '链接'])
#借助writerow()函数往csv文件里写入文字：食物、热量、链接

tasks_list = []
for x in range(5):
    task = gevent.spawn(crawler)
    tasks_list.append(task)
gevent.joinall(tasks_list)

呼~这一关的项目终于圆满完成！

标签：章节,协程,网址,十三,find,url,food,食物,page
来源： https://www.cnblogs.com/ywb123/p/16418453.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。