标签：知乎 网页 postman url 标题 537.36 文章 解析

我有个需求：将我知乎主页下全部 2514 篇文章的名称和链接使用代码解析出来。

https://www.zhihu.com/people/jerrywang_sap/posts

使用 postman 测试，发现不需要任何 Authentication，就可以直接返回该网页的 HTML 源代码：

这个 class type 为 ContentItem 和 ArticleItem 的 div，其子节点 a 就包含了文章的 url. 标题也可以解析出来。

知乎文章的数据加载，没有采取延迟加载，而是通过分页方式进行：

为简单起见，可以在代码里硬编码总的页数为 126：

为什么通过 jsDOM 解析出来的 a tag 只有 30 个元素：

而通过浏览器打开的页面，a 标签有 140 个。

我用postman 以及 request API 取回来的知乎页面，a 标签个数只有30.

可能与 user agent 相关。

浏览器里取回的网页大小：363KB

postman 取回的大小：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36

注意，好像也是客户端渲染。服务器推送过来的网页，只有2条文章：

真正的文章 api 原来在这里：

每页包含20条文章：

使用 postman 发请求：

遇到错误消息：

{
    "error": {
        "code": 10002,
        "message": "10002:请求参数异常，请升级客户端后重试"
    }
}

网上搜索了一下，发现知乎引入了反爬虫机制。所以我放弃这条路了。

更多Jerry的原创文章，尽在：“汪子熙”:

标签：知乎,网页,postman,url,标题,537.36,文章,解析
来源： https://blog.csdn.net/i042416/article/details/121727403

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。