背景

朋友说他的老板是个作家,开会经常吹嘘自己作家的身份,还需要每个朋友转发他的文章来提高他的知名度。
今天老板给他说他这些文章是宝贵的财富,不允许丢失,给他派下任务说把他的所有文章都需要爬下来。

思路

我有两种思路,一种是使用Fiddle工具进行对微信客户端进行抓包,另一种是需要登录公众号在公众号里面,创建新图文可以里有个超链接然后可以请求其他作者公众号的文章

内容

在这里我主要讲解一下第二种,你需要先注册一个公众号(注册的时候别选错成小程序了),然后根据以下图文进行操作。
pAErtbt.png
pAEraUf.png
pAErd58.png
pAEr0PS.png
在选择要爬取的公众号的时候开启F12然后选择网络-查看一个app开通的数据包就是我们点击请求公众号所获取的文章链接
pAEr4GF.png

分析请求所有文章的信息的GET请求

https://mp.weixin.qq.com/cgi-bin/appmsgpublish?TA2NjEyNw%3D%3D&type=101_1&free_publish_type=1&sub_action=list_ex&token=351212752&lang=zh_CN&f=json&ajax=1
对于这一类的GET链接可以分为两大部分URL+参数,我们抛开请求是需要的headers,单说参数来说这个链接你需要注意的是:begin是从哪个文章开始默认为0,count每次请求多少文章这里默认为5条,除去这些外token注意一下其他默认就好了

结尾

通过上述请求到一个json,然后进行数据剥离,把每个文章的链接单独存起来然后进行请求就可以了,具体实现方式你可以查看我的Python代码。