标签：03 ---- resp 爬取 soup div top250 requests select

# top250的详情信息并写入Excel文件
# 1.抓取页面---->HTML源代码--->urllib / requests
#     response.text   ----  一般取文本方法
#     response.content.decode('想要的编码')   ---   如果乱码
# requests是基于urllib做的封装,看官方文档
# 2.解析页面---->正则表达式/css选择器/XPath--->re/beautifulsoup4/lxml
# 3.保存数据---->持久化处理---->CSV/Excel---->csv/xlwt/openpyxl
# 4.数据分析(从数据中找出有价值的信息)
import requests
import bs4

def main():
    resp = requests.get(
        'https://movie.douban.com/top250',
        hearders={
            'User-Agent': 'http://piping.mogumiao.com/proxy/api/get_ip_bs?appKey=3ee6f035175f4b508d8a825da0fb3833&count=4&expiryDate=0&format=2&newLine=3'
        }
    )
    if resp.status_code==200:
        # print(resp.text)
        soup = bs4.BeautifulSoup(resp.text,'html.parser')   # 类名+括号=构造器方法
        # 第一个参数是界面，第二个是解析器
        # soup.select('选择器')
        title_spans = soup.select('#content > div > div.article > ol > li> div > div.info > div.hd > a > span:nth-child(1)')
        rating_spans = soup.select('div > div.info > div.bd > div > span.rating_num')
        quote_spans = soup.select('div.info > div.bd > p.quote > span')
        anchors = soup.select('div.article > ol > li> div > div.info > div.hd > a')
        
    else:
        print(f'请求失败,响应状态码：{resp.status_code}')

标签：03,----,resp,爬取,soup,div,top250,requests,select
来源： https://blog.csdn.net/niki__/article/details/121459463

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。