1.创建项目 在指定文件目录下进入cmd窗口，执行创建scrapy项目命令： scrapy startproject scrapy_xinlangweibo 如图： 2.创建爬虫文件 进入spiders文件目录下，执行创建爬虫文件命令： scrapy genspider weibo www.weibo.com 如图： 3.修改robotstxt协议 在setting.py中修改
一、urllib（urllib.request） https://docs.python.org/zh-cn/3.7/library/urllib.html urllib 是一个收集了多个用到 URL 的模块的包： urllib.request 打开和读取 URL urllib.error 包含 urllib.request 抛出的异常 urllib.parse 用于解析 URL urllib.robotparser 用于解析 robot
re模块 re模块基础使用 re模块是python使用的正则表达式的方法之一 findall findall括号第一个是正则表达式，第二个是被筛选字符串，将筛选结果组成列表 import re res = re.findall('r', 'barry run rr') # 筛选符合正则表达式的数据 print(res) # run:['r', 'r', 'r', 'r',
我们提供封装好的小红书数据采集接口，实时采集，接口稳定。长期维护使用便宜 接口使用详情请参考 接口地址： github 访问地址https://github.com/ping0206guo/pingguoapi： 全部支持的接口如下，并且支持定制开发 返回值与小红书接口一样，对数据进行透传，请按照小红书页面对照理解
import requestsimport jsonheader = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx
import requestsimport jsonheader = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}post_url = 'https://fanyi.baidu.com/sug'word = input('
前言 随着python越来越火爆并在2021年10月，语言流行指数的编译器Tiobe将Python加冕为最受欢迎的编程语言，且置于Java、C和JavaScript之上，越来越多的人了解python. 但是，很多人都会疑惑： 它凭什么这么火爆呢？学了它能干什么?它真的有这么厉害吗? 在这些问题中，我把一些问的比较
目录爬虫实战（六）：爬笔趣阁一、 网站分析1、 页面分析2、 源码分析3、 链接分析二、 编写代码1、 获取目录2、 访问目录3、 下载数据4、 搜索功能三、 总代码 爬虫实战（六）：爬笔趣阁 一、 网站分析 1、 页面分析 通过抓包分析可以得到，该网站为静态网站，所有信息都保存在页面源码中，可以直
目录爬虫实战（五）：爬豆瓣top250一、网址分析1、 页面分析2、 源码分析3、 内容解析4、 链接分析二、编写代码1、 获取每页url2、 获取ol里面的li标签3、 获取数据4、 数据清洗三、完整代码 爬虫实战（五）：爬豆瓣top250 一、网址分析 1、 页面分析 通过抓包分析，可得数据不是动态加载出来的
背景：瓜子二手车网站制定了一些反爬措施，针对该网站反爬措施，如何爬取我们想要的数据？ 前置知识：该项目代码中，引用了urllib的一些方法，对url进行拆分合并，需要了解掌握，可以跳转过去先学习一下：https://blog.csdn.net/liyuanjinglyj/article/details/118697545 request_brands.py 将瓜
1.什么是Scrapy-Redis Scrapy-Redis是scrapy框架基于redis的分布式组件，是scrapy的扩展；分布式爬虫将多台主机组合起来，共同完成一个爬取任务，快速高效地提高爬取效率。 原先scrapy的请求是放在内存中，从内存中获取。scrapy-redisr将请求统一放在redis里面，各个主机查看请求是否爬取过，
搭建免费的代理ip池 需要解决的问题: 使用什么方式存储ip 文件存储 缺点: 打开文件修改文件操作较麻烦 mysql 缺点: 查询速度较慢 mongodb 缺点: 查询速度较慢. 没有查重功能 redis --> 使用redis存储最为合适 所以 -> 数据结构采用redis中的zset有序集合 获取ip
什么是lxml库 lxml是一种使用Python编写的库，可以迅速、灵活地处理XML 支持XPath(XML Path Language) 学习lxml库的目的 利用XPath语法，来快速的定位特定元素以及节点信息 目的是提取出HTML、XML目标的数据 安装lxml库 pip install lxml 我之前已经安装过了，所以没有安装
基本使用 selenium在爬虫中的应用 获取动态网页中的数据，一些动态的数据我们在获取的源码中并没有显示的之一类动态加载数据 可用于模拟登录 安装selenium pip install selenium 下载浏览器驱动 Chrome浏览器 下载地址：http://chromedriver.storage.googleapis.com/index
什么是XPath XPath即为XML路径语言(XML Path Language) XPath可以用于定位XML文本的节点 实际上，XPath也适用于定位HTML中的节点 节点及节点间的关系 在HTML中，节点就是一个个HTML标签 分析节点间的关系也就是要清楚HTML文档中各标签间的关系 理清这些关系对于书写XPath路径表达
一、认识爬虫 爬虫概述： 通过编写程序爬取互联网的优秀资源（图片、音频、视频……），将我们希望能够保存互联网上的一些重要的数据为己所用。 推荐使用Python进行爬虫 软件推荐： pycharm、anaconda、jupyter、Visual Studio Code、python（3.7及及以上版本） 爬虫是否合法？ 取决于使
一、基本命令 创建项目scrapy startproject xxx 创建爬虫scrapy genspider xxx 运行相应爬虫scrapy crawl xxx 二、相关文件 1、相应的爬虫文件名称为自己创建的的xxx.py 2、爬虫项目的配置文件setting.py ROBOTSTXT_OBEY 是否遵循robots.txt协议 USER_AGENT 爬虫请求时的请求
1、 昨天已经获取到数据，今天发现dataframe数据单列数据存储在一行中，分列不太好分，我上网查了下。从列表转换为dataframe，正常是存储为一行，需要转置下发现确实变成逗号分开的形式了。代码如下： data = get_data() df = pd.DataFrame(data=[data],index=['a']).T print(df.head()) 如
1、 今天继续学习selenium操作。测试了下，目标网站的翻页机制是跳转框输入页码或直接点击页码翻页。两种处理的方式依据不同思路，可以用不同代码实现。先看下第一种的，在20220630随笔中已经有，这里只要看下如何输入页码后回车就行，因为目标网站跳转页面并没有下一页按键（参考链接：https:/
多组建的pipline技术架构 生产者消费者爬虫的架构 多进程数据通信的queue.Queue 线程安全：指的是多个线程不会冲突 get和put方法是阻塞的：当里面没有数据的时候，q.get()会卡住，直到里面有了数据把它取出来，q.put()当队列满了以后会卡住，直到有一个空闲的位置才能put进去 代码实现 tmp
Python 数据采集的介绍 1.爬虫是什么 概念：通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 2.爬虫的合法性 2.1 风险 爬虫干扰了被访问网站的正常运营 抓取了受到法律保护的特定类型的数据信息 2.2 使用 优化程序，避免干扰被访问网站的正常运行。 使用，或传播抓取
1.Requests 安装与请求方法 requests官方文档：https://docs.python-requests.org/zh_CN/latest/，官方文档不知道为什么挂了，访问不了。我找了个类似的，可以借鉴参考学习，requests文档：https://www.w3cschool.cn/requests2/requests2-gzsd3fj9.html requests模块安装 pip install reques
7个主要方法 序号 方法 方法表达式 作用 参数 1 request requests.request(method, url, **kwargs) 构造一个请求，支撑以下各方法的基础方法 method ：请求方式，对应get/post等 url ：网页链接 **kwargs ：关键字参数，可选，共13个 2 get requests.get(url, params=
1.学习前置【必看】 近年来由于抓取数据而引起的纠纷越来越多，有的锒铛入狱，有的被处罚金，本人爬虫笔记学习提醒大家：爬虫有风险，采集需谨慎，写代码不能违法，写代码背后也有法律风险 1.1爬虫注意点 1.1.1遵守Robots协议 Robots协议，也称为爬虫协议、机器人协议等，全称是“网络爬虫排除标准
## 报错处理**FAKE-USERAGENT MAXIMUM AMOUNT OF RETRIES REACHED**解决方案：1. 在python安装路径下找到fake-useragent2. 在fake-useragent包下找到settings.py3. 找到代理连接地址：https://fake-useragent.herokuapp.com/browsers/0.1.11（对应版本）4. 另存为json文件（fake_useragent_
