业界动态
python 获取抖音号 python批量爬取抖音用户信息
2024-10-31 11:02


python 获取抖音号 python批量爬取抖音用户信息

前言

  1. 环境的准备
  2. 环境配置
    2.1 filder配置
    2.2 xposed和JustTrustMe的配置
    2.3 mitmproxy配置
    2.4 配置Android Studio
    JDK的配置
    配置Appium
  3. 定位页面元素
  4. 运行项目
    前言
  5. 环境的准备
    夜神模拟器(Android 5.1.1)
    filder
    mitmproxy
    python3.7.3
    jdk1.8.0_251
    Android Studio(Android SDK 5.1)
    xposed(Android 5.1)
    JustTrustMe
    这里先说明一下,抖音有ssl验证,夜神模拟器安装xposed和JustTrustMe之后,才能正常抓包,不然打开抖音是没有网的。
  6. 环境配置
    除了python3.7.3和mitmproxy,其余的资源都在百度网盘中,自取,地址:https://pan.baidu.com/s/1ZtvZIQvQ8A6rp02HtAOudQ,提取码:4mu1。

2.1 filder配置
安装好filder后,打开filder,左上角Tools -> Options,设置如下:

点击Actions,选择Trust Root Certificate,然后全部选是,安装window端的证书

到这一步filder,PC端的算是配好了,然后关闭域防火墙,获取PC端的ip地址,方法如下:

然后打开夜神模拟器,进入wifi,配置代理:

然后打开网页进入192.168.1.19:8888,下载证书,

下载完成了,进入设置 -> 安全 -> 从SD卡安装,安装刚刚下载的证书,随便取名,

到处,filder就可以抓到夜神模拟器上的数据包了,而要抓抖音的包得安装xposed和JustTrustMe。

2.2 xposed和JustTrustMe的配置
在网盘中下好xposed和JustTrustMe的apk文件后,直接点夜神右侧的安装APK,找到这两个框架的apk文件,点击安装,这里有个先后顺序,先安装xposed,安装后夜神桌面有一个xposed install,打开,然后下载xposed,

下载后会显示Xposed框架89版已激活,然后安装JustTrustMe的apk,安装好后,在xposed install里面勾选JustTrustMe,

到这里就安装完成了,然后下载最新版的抖音,就可以用filder抓包了:

记下这个url的前半部分,等会有用的。

2.3 mitmproxy配置
首先,在PC端通过pip install mitmproxy安装mitmproxy模块,安装好后,继续通过cmd,输入mitmproxy,这样就会在系统盘的用户目录下的.mitmproxy文件夹下生成许多证书,点击mitmproxy-ca-cert.p12,选本地计算机,直接点下一步,设置密码的位置不用填,直接下一步,证书照下图放:

这样PC端的证书就配好了,然后配夜神的,将mitmproxy-ca-cert.pem直接拖到夜神模拟器中,还是按照上面安装filder夜神模拟器端的证书方法操作,安装证书,然后创建douyin_fans.py文件:


然后配置夜神的wifi的代理,同样的8888端口和ip,关掉域防火墙,然后在douyin_fans.py文件目录打开命令行输入mitmdump -p 8888 -s douyin_fans.py,然后打开夜神上的抖音进入到粉丝里面,就可以看到命令行有输出了,如下图:

到此处,mitmproxy已经配置好了,而且可以抓到粉丝了,但是需要手动滑粉丝列表才能进行翻页,这里就需要使用Appium进行自动滑动粉丝列表了。

2.4 配置Android Studio
这里先解释一下为什么要下载Android Studio,主要是夜神模拟器是Android系统,而用Appium控制Android系统就需要Android的SDK,而现在的Android SDK与Android Studio是绑定的,安装好Android Studio后,按下图操作:

进入SDK Manager,安装Android5.1,并记住skd所在的路径:

安装好SDK后,进入对应的路径,然后打开系统的环境变量配置ANDROID_HOME以及一些path:

然后将platform-tools下的adb.exe文件放到夜神模拟器的bin目录中,与nox_adb.exe文件替换,并改为相同的名称nox_adb.exe,到此Android SDK的环境全部配完。

JDK的配置
安装好jdk后,在系统变量中配置JAVA_HOME,以及在path中添加jdk的bin路径,jdk的环境就配好了。

配置Appium
安装好Appium后直接打开,启动服务:

然后点击放大镜,然后按图配置如下参数:

然后save,然后start session,这样夜神就会自动打开抖音,到此所有环境配置完毕,下面开始页面元素定位以及爬取的相关工作。

  1. 定位页面元素
    打开cmd输入monitor,等会就会出现一个界面,然后打开夜神的抖音,进行如下操作:

从左到右依次操作,这样就可以得到页面元素放大镜的id,后面的账号搜索点击元素都用同样的方法一步一步的得到所有元素的id值,编写douyin_appium.py文件:

  1. 运行项目
    夜神的代理打开,域防火墙关掉,然后用mitmdump命令运行douyin_fans.py文件,这里得说明一下,mongdb数据库的操作在douyin_fans.py文件中自行添加,然后直接run,douyin_appium.py文件,这样就会自行爬取抖音的某账号粉丝信息,效果如图:
    以上就是本篇文章【python 获取抖音号 python批量爬取抖音用户信息】的全部内容了,欢迎阅览 ! 文章地址:http://www78564.xrbh.cn/news/26364.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 迅博思语移动站 http://www78564.xrbh.cn/mobile/ , 查看更多   
最新文章
星聚汇大公鸡七星彩手机版「星聚汇」
  星聚汇app是一款为用户提供各种生活服务的软件,让用户能够轻松找到各种吃喝玩乐信息,满足用户生活需求;用户在软件中能够
苹果手机怎么看定位去过哪苹果手机怎么看定位都去过哪里「苹果手机怎么看定位去过哪」
在隐私设置干瘪页,打开“呼之欲出定位服务”急则抱佛脚设置界面。在定位服务行行重行行页,进入“鞍前马后系统服务”兴致勃勃页
拳皇98手机版拳皇97下载手机版「拳皇98手机版」
拳皇98手机版是一款拳皇系列格斗手游,由街机作品移植而来,在其中还原了街机版本中的全部内容,玩家可以在手机上体验到当年的经
手机计算器分数计算全攻略:从入门到精通手机计算器怎么算百分比「手机计算器分数计算全攻略:从入门到精通」
手机计算器怎么算分数?一篇文章带你轻松掌握大家好!今天我们来聊聊一个日常生活中经常遇到的问题,那就是在手机计算器上如何计
用手机如何快速制作智能个人简历手机简历「用手机如何快速制作智能个人简历」
“念兹在兹,此心不越”的意思是:想到您在这里,您就在这里,我们的心离不开您。出自毛泽东的《四言诗·祭母文》:必秉悃忱,则
朋克农场电脑版怎么玩逍遥模拟器手机版「朋克农场电脑版怎么玩」
使用逍遥模拟器,可以在电脑windows系统上直接玩朋克农场电脑版。逍遥模拟器是一款基于安卓9的免费电脑手机模拟器软件,经过多年
植物大战僵尸2苹果IOS最新版 v3.5.5.76 苹果版wegame手机版「植物大战僵尸2苹果IOS最新版 v3.5.5.76 苹果版」
天天军棋苹果旧版本是一款以军棋为主的下棋游戏,游戏中有很多不同类型的经典游戏内容都是很不错的,这款游戏是由腾讯官方鼎力制
17场展会!济南会展业迎来“最热”4月
会展兴,百业兴。一场展会,能够吸引大量人流、物流、资金流和信息流,在促进相关产业发展的同时,又能带来大量的外来消费。 济
L50(300)A-IPL-V1、NOVA II、JUNO能量计区别之处手机在线a v「L50(300)A-IPL-V1、NOVA II、JUNO能量计区别之处」
L50(300)A-IPL-V1 探头7Z02780 L50 (300)A-IPL是一种热电堆激光测量探头,用于测量来自IPL皮肤病源的脉冲。 孔径为65mm,并有一
死神vs火影游戏满人物版死神vs火影手机版「死神vs火影游戏满人物版」
死神vs火影游戏满人物版中所拥有的角色已经全部可以使用,不用再额外进行解锁,让玩家可以享受近千个角色,让玩家尽情地享受战斗