由于最近需要公众号的历史文章信息,所以就尝试爬了一下，虽然目前可以爬到数据，但是还不能够大量的自动化爬取。原因是参数key值具有时效性(具体时间没有验证20分钟的样子)，目前也不知道是如何生成的。

文章历史列表爬取

首先先到的是搜狗微信，但是搜狗微信只能看到前十篇文章并且查不到阅读量和在看的数量，尝试爬取手机包，发现没有抓取到信息，后来才知道原因：

1、安卓系统7.0以下，微信信任系统的证书。

2、安卓系统7.0以上，微信7.0一下版本，微信信任系统提供的证书。

3、安卓系统7.0以上，微信7.0以上版本，微信只信任自己的证书。

也尝试过使用appium自动化爬取，个人觉得有点麻烦。所以就尝试抓取PC端的请求。

进入正题，这次抓包使用的是Fiddler。下载链接：https://www.telerik.com/fiddler

Fiddler如何抓包这里不再一一阐述，首先第一次安装Fiddler是需要安装证书才可以抓取HTTPS请求的，

如何安装？

打开Fiddler,从菜单栏找到Tools -> Options -> 点击HTTPS -> 点击Actions 会安装证书 配置成如下：

这里以我自己的公众号为例：在PC端登陆微信，打开Fiddler，按F12是开启/停止抓包，进入公众号历史文章页面，看到Fiddler出现了很多请求,如下图：

由于查看历史记录是跳转到一个新的页面,可以从Body返回较多的看起,同时通过Content-Type也可以知道返回的是css或者html或者js,可以先从html看，于是乎就会找到如上图红色框中的链接，点击他，可以从右边看到返回结果和参数：

从右边的Headers中可以看到请求的链接,方式，参数等,如果想要更清晰的查看参数可以点击WebForms查看,也就是上图展示的结果。这里来描述一下其中重要的参数：

__biz:微信公众号的唯一标识(同一公众号不变)

uin:用户唯一标识(同一个微信用户不变)

key:微信内部算法,具有时效性,目前不知道是如何算出来的。

pass_ticket:是有一个阅读的权限加密,是变化的(在我实际的爬取中发现是不需要的，可以忽略不计)

走到这一步其实已经可以写代码爬取第一页的文章了,但是返回的是html页面,解析页面明显是比较麻烦的。

可以尝试往下滑动,加载下一页数据,看看返回的是json还是html,如果是json就好办,如果还是html,那就只好一点点的解析了。继续往下走会发现：

这个请求就是返回的文章列表,并且是json数据,这就很方便我们去解析了,从参数中发现有一个参数为offset为10,很明显这个参数就是分页的偏移量，这个请求为10加载的是第二页的历史记录,果断修改成0,再发送请求,得到的就是第一页的数据，那么就不需要再去解析html页面了，再次分析参数，发现看着看多参数，有很多一部分是没有用的,最终需要的参数有：

action:getmsg(固定值,应该表示获取更多信息吧)

__biz,uin,key这三个值在上面已经描述了,在这里也是必须的参数

f:json（定值,表示返回json数据吧）

offset:分页偏移量

想要获取公众号的历史列表，这6个参数是必须的,其他的参数可以不用带上。再来分析请求头中的hearders如图:

参数很多，我也不知道那些该带,那些不需要带,最后发现只需要携带UA就可以了,其他都可以不要。最终写出脚本来尝试获取一下：

获取json对象中的general_msg_list,得到的结果：

获取文章详情

上面已经拿到了链接，请求解析html页面就可以了。这里不再阐述(在全部代码中可以查看)。

获取阅读量和再看量

抓包方式等上面已经说了，在这里就不再废话了

点进文章,滑动到最下方(在快到达底部的时候才会去请求阅读量和再看量),很容易就会捕捉到的请求：

获取阅读量和在看量：

/mp/getappmsgext?f=json&mock=&uin=...(太长了)

获取评论:

/mp.weixin.qq.com/mp/appmsg_comment...

这里我只获取了阅读量和在看量(评论没有去获取但是都是一样的)查看需要的参数：

分析这个请求的参数(这个请求参数真的太多了,心中mmp)发现：

url需要参数：在url中只需要携带uin(用户id)和key值

hearders需要参数：至需要UA

body需要参数：

__biz:公众号唯一标识

appmsg_type：9 (目前来看都是9,必须携带)

mid和sn必须携带，更具这两个参数来判断是那篇文章。

inx:文章的排序,必须携带,对应错获取不到。

is_only_read：1(目前来看都是1，必须携带)

获取阅读量和再看量的代码为：

最终整理脚本如下

还存在的问题

参数uin:用户的唯一id,是不用改变的,问题不大

参数__biz:可以通过搜狗微信获取（通过搜狗微信搜索公众号可以在页面找到__biz）

参数key:问题很大,暂时没办法获取到

但是单独爬取一个公众号(文章不是特别多的时候)时间是够的。我在爬取的途中遇见了443的问题,可能是爬取太快，不知道加上代理ip有没有用（还没有尝试）

既然key要手动修改上去，我就索性没有去搜狗获取__biz。

key过期怎么办？

用Fiddler从新抓包获取新的key值，替换上去就可以了。

上面的源码复制下来需要把uin，__biz,key值换成自己的,url中由于微信限制，我添加了链接两个字，去掉就好了。