Java比较常用的发起请求的工具，功能有：

• 方便的发起get、post等请求
• 可以设置连接池（类似线程池），使用池化思想降低频繁创建连接的开销
• 可以自己编写代码设置多线程爬取
• ...

代码模板

以上是post请求的代码模板，get等其他请求也差不太多，将HttpPost换成HttpGet就行了

一个html解析工具，可以在后台很方便的像jquery一样以标签、类、属性选择器的方式，获取指定的html标签下的文本内容。

一般爬取的接口是搜狗微信、或者是微信公众平台，这里使用的是微信公众平台

• 登录微信公众平台
• 选择草稿箱->新的创作
• 选择链接->其他公众号
• 选择公众号名称或者公众号id，就可以看到该公众号下的内容了
• filder进行抓包，找到该接口，使用该接口就可以抓取公众号内容

动机：因为cookie过三天就会过期，每次都需要人工重新登录，想试试可不可以自动登录
想法：filder抓取账号密码登录接口，cookie过期就使用账号密码重新登录一下，填充新的cookie

实践

抓取到登录接口是这个：https://mp.weixin.qq.com/cgi-bin/bizlogin?action=startlogin&username=sdf&pwd=1234&imgcode&token

编写代码尝试登录，发现还是会跳转到扫码登录，也就是说扫码登录是绕不开的。

因此看了一下扫码登录的流程，和OAuth2授权过程很像。其中必须要用到手机端进行扫码，因此无法实现完全自动化。

• 页面上会出现二维码，微信服务器会一直用长连接或者轮询判断二维码是否被扫描
• 二维码被扫描，微信服务器会接收到扫描请求，向公众号平台服务器发送手机确认请求
• 微信公众号平台服务器向手机发送确认请求
• 手机确认授权，网页得到token，跳转登录成功

抓包展示