标签：租房 __ num re url 爬虫 soup 初识 select

昨今两天，学习了基本的爬虫，感觉很不错，写下分享分享！！！

首先，大家都关心的问题，学习爬虫需要具备什么知识呢？？大致如下：

• python的基础知识（函数的定义、列表的操作、文件操作、正则表达式）难度：***
• python额外知识（BeautifulSoup、requests、re（正则表达式））
• html+css的基础知识（类选择器、id选择器以及dom）难度：******

然后就是做应该爬虫的基本流程：

1. 明确自己的目标，在哪个网站爬取什么数据
2. 分析单个页面中所需数据的获取规律
3. 将规律提炼成函数
4. 循环遍历获取数据
5. 保存数据
6. 分析数据

比如，假设我们的任务如下：

通过这张图片我们可以获得至少两个很重要的信息：

1. 目标网站
2. 目标数据

接下来就是如何去制作爬虫，故，我们要去学习相关的工具：

1. BeautifulSoup(https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)
2. requests(https://cn.python-requests.org/zh_CN/latest/)

然后，我们就可以对单个页面的数据进行分析了。例如：http://www.youtx.com/chengdu/page1/

首先我们在浏览器中输入地址：

然后，我们可以（这里以chrome浏览器为例）按下F12，得到下面的画面：

然后，我们点击那个箭头：

然后，选取我们想看的部分，比如：

我们就先点击刚刚那个箭头，然后点击那个地方，得到如下：

图中箭头所指即使该租房的主要信息页面，然后，我们就点进去看看：

这儿就是我们爬虫最主要的操作空间了，我们所需要的许多信息都是从这里获取的
还是上面说的那样，我们先按F12，然后点击箭头，然后点击我们关注的那个地方，比如说：

我们可以通过观察html页面知道它的位置，然后，接下来的一步就是我们怎样去找到它，如果我们仔细观察，就会发现下面的信息：

我们可以发现，它是位于class为housemessage的li的下面的，于是我们知道，如果我们要获取那个内容，就要先获取那个li标签再获得内容。
在css中我们知道，一个类选择器可以对应着多个标签，但是一个id选择器则只能对应一个标签，于是，我们需要知道该类选择器作用于那些标签，于是，我们可以用下面的方法做（涉及js）

然后：

我们发现刚好只有一个，可省下了不少事情。
通过上面的分析，于是我们知道了一个大致的思路：在html中获取类名为housemessage的元素 ——>获取需要的值。
那么问题来了，我们如何得到html页面，且如何获取元素呢，获取元素后我们如何获取它的值呢？？？
这里，我们就需要开始使用bs4模块和requests模块了。

以www.baidu.com为例：

# 第一步 导包
import requests
from bs4 import BeautifulSoup

# 第二步 获取目标网页的源代码
source = requests.get('www.baidu.com')
# 这里我们可以看看source具有哪些方法和属性
print(dir(source))
print(source.__dict__)

# 第三步 美化源代码
soup = BeautifulSoup(source.text, 'html.parser')
# 看看效果
print(soup.prettify())

# 第四步 获取标签
print(soup.select(xxxx))

# 第五步 获取标签的值
print(soup.select(xxx).__dict__['contents'])

通过以上，我们就可以在一个页面中获取我们想要的数据了，那么多个页面爬取也就简单了，可以去寻找每一个页面的规律，通过上面的方法，遍历获取每个页面中理解，打开，获取数据，也可以是继续获取连接，一步步深入。

以下就是完成上述任务的代码，可以参考参考，若有不足，请指正！！！谢谢！！！

# -*- coding:UTF-8 -*-
"""
Created on 2020/12/19 16:40

@author : Jonny Jiang
"""


import requests
import re
from bs4 import BeautifulSoup
import csv
import sys
import time

def get_info(url):
    content = requests.get(url)
    soup = BeautifulSoup(content.text, 'html.parser')
    housepercity = None  # 市
    housedistrict = None  # 区
    house_area = None  # 面积
    bedroom_num = 0 # 卧室数量
    bathroom_num = 0 # 卫生间数量
    house_style = None  # 房屋户型
    amount = None  # 宜住人数
    today_price = None  # 今日价格
    owner = None  # 租房人
    money = None  # 是否收取押金
    days = None  # 最短入住天数
    score = 0  # 总体评价
    result = []

    # 市区匹配表达式
    addr_1_p = "housepercity = (.+);"
    addr_2_p = "housedistrict = (.+);"

    housepercity = re.findall(re.compile(addr_1_p), soup.prettify())[0]
    housedistrict = re.findall(re.compile(addr_2_p), soup.prettify())[0]
    house_area = re.findall('\d+', soup.select('.housemessage span')[2].contents[0])[0]
    bedroom_num = re.findall('\d+', soup.select('.housemessage span')[-3].contents[0])
    if not bedroom_num:
        bedroom_num = 0
    else:
        bedroom_num = bedroom_num[0]
    bathroom_num = re.findall('\d+', soup.select('.housemessage span')[1].contents[0])
    if not bathroom_num:
        bathroom_num = 0
    else:
        bathroom_num = bathroom_num[0]
    house_style = (bedroom_num, bathroom_num)
    amount = re.findall('\d+', soup.select('.housemessage span')[-3].contents[0])[0]
    today_price = soup.select('.part-two p span')[0].__dict__.get('contents')[1]
    owner = soup.select(".left a")[0].__dict__['attrs']['title']
    money = soup.select('.dsection-4 span')[-4].__dict__['contents'][0][1:]
    days = soup.select('.dsection-4 span')[2].__dict__['contents'][0][0]
    score_s = soup.select('.sec-1 div')[0].get('class')
    score_int = {'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5, 'half': 0.5}
    tmp = ''
    if len(score_s) > 1:
        for s in score_s[1][:-4]:
            tmp += s
            if tmp in score_int:
                score += score_int[tmp]
                tmp = ''
    result = [housepercity, housedistrict, house_area, house_style, amount, today_price, owner, money, days, score]

    return result


def main():
    page_url = 'http://www.youtx.com/chengdu/page{}/'

    # 保存文件名
    filename = 'test.csv'
    # 开始写入
    # filename = sys.argv[1]
    f = open(filename, 'w+', encoding='utf-8')
    csv_writer = csv.writer(f)
    csv_writer.writerow(['市', '区', '房屋面积', '房屋户型', '宜住人数', '当日出租价格', '租房人', '是否收取押金', '最短入住时间', '总体评价'])

    try:
        for i in range(1, 33):
            now_url = page_url.format(i)
            page = requests.get(now_url)
            soup = BeautifulSoup(page.text, 'html.parser')
            url_markups = soup.select('#results>ul>li')
            for url_markup in url_markups:
                url = url_markup.a.get('href')
                print(url)
                next_page = url
                result = get_info(next_page)
                print(result)
                csv_writer.writerow(result)
                time.sleep(0.5)
    finally:

        # 结束写入
        f.close()


if __name__ == '__main__':
    main()

标签：租房,__,num,re,url,爬虫,soup,初识,select
来源： https://www.cnblogs.com/JonnyJiang-zh/p/14161852.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。