标签：租房 get url text 爬取 soup div 雁塔区 select

'''
需求，爬取安居客西安区雁塔租房信息（平台为安租客）
需要爬取的信息有：标题、地址、价格、房东名称、面积、付款方式、房东头像链接
'''
import select

import requests
from bs4 import BeautifulSoup
import time
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
#获取详情页URL的函数
def get_links(url):
    res = requests.get(url,headers=headers)
    soup = BeautifulSoup(res.text,'lxml')
    links = soup.select('div> div.zu-info > h3 > a')
    for link in links:
        href = link.get('href')
        get_info(href)

#获取网页信息的函数
def get_info(url):
    res = requests.get(url,headers=headers)
    soup = BeautifulSoup(res.text,'lxml')
    titles = soup.select('div.wrapper > h1 > div')  #标题
    addresses = soup.select('div.lbox > ul.house-info-zufang.cf > li> a')   #地址
    prices = soup.select('span.price > em > b') #价格
    names = soup.select('div.broker-card > div > h2')   #房东名称
    areas = soup.select('span.info-tag.no-line > em > b')   #面积
    types = soup.select('li.full-line.cf > span.type')  #付款类型
    imgs = soup.select('div.broker-card > div > img')#房东头像链接

    for title, address, price, name, area,typ,img in zip(titles, addresses, prices, names,areas,types, imgs):
        data = {
            '标题' : title.get_text(),
            '地址' : address.get_text(),
            '面积' : area.get_text(),
            '价格' : price.get_text(),
            '付款类型' : typ.get_text().strip(),
            '房东名称' : name.get_text().strip(),
            '房东头像' : img.get('src')

        }
        print(data)
if __name__ == '__main__':
    urls = ['https://xa.zu.anjuke.com/fangyuan/yantaqu/p{}'.format(str(num)) for num in range(1,2)]
    for url in urls:
        get_links(url)
        time.sleep(2)

标签：租房,get,url,text,爬取,soup,div,雁塔区,select
来源： https://www.cnblogs.com/lyqLovellx/p/15195735.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。