标签：info 月饼 Python item url csv data 女朋友

​

马上到月饼节了，又到了吃月饼的日子了，python帮你挑选最爱的月饼口味

目标网址： 某宝

​

​​

工具使用

开发工具：pycharm

开发环境：python3.7， Windows10

使用工具包：requests，lxml

重点学习的内容

• get请求
• 获取网页数据
• 提取数据方法

项目思路解析

淘宝网站是需要登录获取，登录的方式可以尝试解析淘宝的接口，白又白这里直接用cookie请求头的方式实现状态保持，登录之后获取(但是最近淘宝好像是不需要登录了，小伙伴可以自己尝试下)

找到你需要搜索的关键字，马上要中秋节了（白又白这里搜索的是月饼）

​

淘宝的页数是由url进行渲染的，通过url来获取商品的页数

url可以做简化处理

简化之前
https://s.taobao.com/search?q=%E6%9C%88%E9%A5%BC&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20210829&ie=utf8&bcoffset=3&ntoffset=3&p4ppushleft=2%2C48&s=44

简化之后
https://s.taobao.com/search?q={}&s={}

q为搜索的关键字，s为你要获取的页数

通过requests工具发送网络请求

获取网页数据

​

key = "月饼"
    for i in range(1, 4):
        url = 'https://s.taobao.com/search?q={}&s={}'.format(key, str(i*44))
        get_data(url)

获取的数据为HTML数据可以通过xpath方式，正则，pyquery，bs4的方式进行数据提取挑选合适自己的，习惯使用的

通过正则方式提取数据

​

淘宝的数据是存在json数据里的提取下来之后可以通过字典取值的方式获取

提取的数据：

• 价格
• 付款人数
• 标题
• 店铺
• 地点

data = re.findall('"auctions":(.*?),"recommendAuctions', response.text)[0]
    for info in json.loads(data):
        item = {}
        item['网址'] = info['detail_url']
        item['标题'] = info['raw_title']
        item['图片地址'] = info['pic_url']
        item['价格'] = info['view_price']
        item['地点'] = info['item_loc']
        item['购买人数'] = info.get('view_sales')
        item['评论数'] = info['comment_count']
        item['店铺'] = info['nick']

​

最终保存数据，数据保存在csv表格

def save_data(data):
    f = open('月饼.csv', "a", newline="", encoding='utf-8')
    csv_writer = csv.DictWriter(f, fieldnames=['标题', '价格', '购买人数', '地点', '网址', '图片地址', '评论数', '店铺'])
    csv_writer.writerow(data)

​

简易源码分享

headers = {
    'referer': 'https://s.taobao.com/',
    'cookie': '',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36',
}

def save_data(data):
    f = open('月饼.csv', "a", newline="", encoding='utf-8')
    csv_writer = csv.DictWriter(f, fieldnames=['标题', '价格', '购买人数', '地点', '网址', '图片地址', '评论数', '店铺'])
    csv_writer.writerow(data)


def get_data(url):
    response = requests.get(url, headers=headers)
    print(response.text)
    data = re.findall('"auctions":(.*?),"recommendAuctions', response.text)[0]
    for info in json.loads(data):
        item = {}
        item['网址'] = info['detail_url']
        item['标题'] = info['raw_title']
        item['图片地址'] = info['pic_url']
        item['价格'] = info['view_price']
        item['地点'] = info['item_loc']
        item['购买人数'] = info.get('view_sales')
        item['评论数'] = info['comment_count']
        item['店铺'] = info['nick']
        print(item)
        save_data(item)



if __name__ == '__main__':
    file = open('月饼.csv', "w", encoding="utf-8-sig", newline='')
    csv_head = csv.writer(file)
    # 表头
    header = ['标题', '价格', '购买人数', '地点', '网址', '图片地址', '评论数', '店铺']
    csv_head.writerow(header)
    key = "月饼"
    for i in range(1, 4):
        url = 'https://s.taobao.com/search?q={}&s={}'.format(key, str(i*44))
        get_data(url)
        time.sleep(5)

​适合送啥就不用多说了吧！

需要完整代码，教程的

①兼职交流，行业咨询、大佬在线专业解答

②Python开发环境安装教程

③Python400集自学视频

④软件开发常用词汇

⑤Python学习路线图

⑥3000多本Python电子书

如果你用得到的话可以直接拿走，点击领取。不方便点链接的加群：948351247

标签：info,月饼,Python,item,url,csv,data,女朋友
来源： https://blog.csdn.net/weixin_52994140/article/details/120099036

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。