ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

爬取https://www.parenting.com/baby-names/boys/earl网站top10男女生名字及相关信息

2019-12-21 20:04:01  阅读:360  来源: 互联网

标签:earl www soup lilist1 baby re names print 男女生


爬取源代码如下:

import requests
import bs4
from bs4 import BeautifulSoup
import re
import pandas as pd
import io
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
lilist=[]
r=requests.get('https://www.parenting.com/baby-names/boys/earl')
soup=BeautifulSoup(r.text,"lxml")
soup= soup.find_all('a',href=True)
for i in soup:
    if 'https://www.parenting.com/pregnancy/baby-names/baby-boy-names/' in str(i)or'https://www.parenting.com/pregnancy/baby-names/girl-baby-names/' in str(i):
        lilist.append(i.get("href")) lilist1=[]
results1=[]
results=[]
results2=[]
for i in list(set(lilist)):
    r=requests.get(i)
    soup=BeautifulSoup(r.text,"lxml")
          Source=soup.find_all('p')
    Source=soup.find_all(attrs={'class': 'description'})
   
    results0 = re.findall('<h4>(.*?)</h4>', r.text)
    for c in results0:
        if c!='':
            lilist1.append(c)
    #print(lilist1)
    #lilist1=[]     pattern = re.compile('<p><strong>Origin:</strong>\s(.*?)</p>', re.S)
    results += re.findall(pattern, str(Source))
      
    pattern1 = re.compile('<p><strong>Meaning:</strong>\s(.*?)</p>', re.S)
    results1 += re.findall(pattern1, str(Source))     pattern2 = re.compile("<p><strong>Why it’s big:</strong>\s(.*?)</p>", re.S)
    results2 += re.findall(pattern2, str(Source))    
   
print(lilist1)
print(results1)
print(results)
print(results2)
data = {
    'EnName':lilist1,
    'Meaning':results1,
    'Origin':results,
    'Description':results2
}
frame = pd.DataFrame(data)
frame.to_csv('wt10.csv',encoding="gb18030")
#print(results2)
 csv文件截图:        

标签:earl,www,soup,lilist1,baby,re,names,print,男女生
来源: https://www.cnblogs.com/c1q2s3/p/12078047.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有