传输层[TCP 层]拦截和 TLS 解密, 使用 mitmproxy 分析 iOS 和 Android 的 HTTP(S)协议

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 1464 天前的主题，其中的信息可能已经有所发展或是发生改变。

[继上一个帖子: https://v2ex.com/t/726090 可以分析所有 TCP&UDP 协议]

这个只能分析 HTTP(S)协议, 也不用在众多协议中过滤了, 原理有异曲同工之处, 对只需要分析 HTTP(S)协议的同学可以关注下.

传输层拦截和设置系统代理的方式有什么区别

这里有位此 app 已购买者, 可以看这个帖子的 https://v2ex.com/t/727609 的 10 楼, 11 楼

另外 ios 使用了 Network Extension(会出现 vpen 标识)并不意味着就是 TCP 层拦截. Network Extension 有网络层 API, 传输层 API, 应用层 API 比如可以只用 Network Extension 设置系统代理. 这就算是[应用层], 本质同设置系统代理一样. 另外如果接管所有流量, 就需要用[网络层 API]处理 IP 包, 再加工成[传输层]的 TCP/UDP 包, 最后再给[应用层] 两种方式,工作量完全不在一别,抓包类 app,良心好的开发者会在介绍了里说明是工作在哪一层

视频

同样在我的 youtube 频道录了一个视频

https://www.youtube.com/watch?v=puES_ayJkEo

注意

可以加上--rawtcp 参数, 视频中没有加 $ mitmproxy -m socks5 --rawtcp

也有一个 mitmweb 命令, 会启动图形界面

下载地址

iOS(>=14) https://apps.apple.com/us/app/id1528537342

Android (>=8) https://play.google.com/store/apps/details?id=com.txthinking.mitmproxy

兑换码

兑换码发放: 每 10 楼, 按 1-10 的随机数抽一次奖, 比如 1-10 楼抽一次, 11-20 抽一次, 21-30 抽一次... 抽的结果会在帖子内截图. 用 google 随机数生成器抽. 被抽到的可以选择需要 iOS 或 Android 端其中的一个兑换码

google 随机数生成器长这个样子 https://i.imgur.com/WLrgWLr.png https://i.loli.net/2020/11/17/OwyukCsVGrUx8Jq.png

获得兑换码的 Google Play 同学, 烦请给个好评(不强制)

与人方便, 自己方便

mitmproxy 的根证书安装的时候是访问 http://mitm.it 这个链接, 而这个链接在他们国外服务器, 所以可能很慢很慢很慢很慢, 多刷下试试 网络是个复杂的东西, 所以针对我写的网络工具, 我都会录视频, 但使用者仍然可能忽略某个细节导致某个步骤遇到小问题, 这时候如果你是已购买者, 我很愿意在 slack 回答你的一些问题, 请不要一气之下就给个差评(你看 iOS 就有个 Leigingban 同学给差评了, 就一句话: 完全不能工作). 另外如果你对 HTTP, HTTPS, TCP, TLS, MITM, mitmproxy, ROOT CA 这些概念不太熟, 也建议三思后再决定下载与否

https://docs.google.com/forms/d/e/1FAIpQLSdzMwPtDue3QoezXSKfhW88BXp57wkbDXnLaqokJqLeSWP9vQ/viewform

为了群组的质量, 使用了 slack 和申请机制.

谢谢大家

第 1 条附言 · 2020-11-25 11:49:16 +08:00

重要!!!

关于[如何信任根证书], 因为包含设备信息故视频里隐藏了几帧图像, 无论是iOS还是Android信任根证书都需要: 好几步好几步好几步, 点好几个地方点好几个地方点好几个地方. 繁琐的步骤不是我所能左右的而且http://mitm.it这个是mitmproxy的根证书服务器, 这不是我所能左右的, 访问慢多刷几次多刷几次.

视频只是一个简单的操作流程, 流程的每一步都可能有很多知识, 每一步操作有问题都会导致不顺畅, 建议对正文提到的任何概念不太了解的话, 还是建议大家花点时间搜索下补充下相关知识

iOS 仍然是不支持中国大陆区AppStore, 苹果不让, 我发现大概我的软件 https://github.com/txthinking 但凡用到那个技术都不允许中国大陆区上架, 这也不是我所能左右的

第 2 条附言 · 2020-11-25 12:08:47 +08:00

**重要**

* 如果你是 iOS, 确保你的电脑网络能访问 google dns-over-tls DNS 8.8.8.8 TCP 853 端口 dns.google (怎么测试: https://github.com/ameshkov/dnslookup)
* 下一版本会改成使用 8.8.8.8 的 UDP 53
* 如果你是 Android, 确保你的电脑网络能访问 8.8.8.8 的 UDP 53 端口

第 3 条附言 · 2020-11-28 09:41:14 +08:00

关于安装 mimtproxy 根证书时是否会慢的情况解释如下感谢 @mrchi 同学提出

两种情况:
1. 如果手机端提前进行 mitm.it 的 DNS 解析, 然后将 IP 给 mimtproxy, 那么安装证书时会发起远端请求, 因为它在读取数据前是不知道这个 IP 是干嘛的
2. 如果手机端不进行 DNS 解析, 直接将 mitm.it 给 mimtproxy, 那么安装时就不会发起远端请求

第 4 条附言 · 2020-11-28 09:45:06 +08:00

#136 有个 windows 上使用的经验

149 条回复 • 2020-12-03 10:59:04 +08:00

1 2

❮

❯

cwyalpha

2020-11-25 10:18:41 +08:00 via iPhone

谢谢楼主，另外想问问有没有什么能解决 ssl pin 的方案

cwyalpha

2020-11-25 10:29:50 +08:00 via iPhone

另外问一下，这个和 ios 的 stream 有什么区别？不考虑 ssl pin 的话，会存在 stream 抓不到，这个能抓到的情况吗

thisismr2

2020-11-25 10:33:18 +08:00

@cwyalpha #1 Android 的话我会配合 xposed

thisismr2

2020-11-25 10:42:20 +08:00

@cwyalpha #2
我不了解 stream, 如果它是工作在应用层的话. 那么的确会有抓不到的情况.
而这里是工作在传输层(TCP 层), 所以自然都能抓到, 然后就是如果是 HTTPS, 会尝试 TLS 解密 (对于 TLS 的相关原理我就不打字了, 太多内容, 感兴趣的话大家可以搜下)

thisismr2

2020-11-25 11:02:48 +08:00

@cwyalpha 我简单写个数据包流向

[物理层] -> [网络层(就是 IPv4 或 IPv6 包)] -> [传输层(就是 TCP/UDP 包)] -> [应用层(HTTP 协议等)]

目前大部分抓包软件都工作在[应用层](上图中的最后一个环节), 比如通过让你手动设置系统代理或通过 iOS 的 NetworkExtension 和 Android 的 Builder 自动设置系统代理, 两种设置系统代理本质一样. 系统代理是一个尊重但不强制的东西. 所以自然就很多应用不尊重那么就抓不到了

而这个 app 是工作在[网络层](上图中的第二个环节), 什么意思呢, 即会接管所有的 IP 包(0.0.0.0/0), 然后加工成 TCP/UDP 包到传输层, 然后再将 TCP 包加工后给 mitmproxy, 同时将 UDP 包丢弃(因为 mitmproxy 不能分析 UDP)

MrWhite

2020-11-25 11:05:24 +08:00

上次没中，这次中个奖看看？

crab

2020-11-25 11:09:20 +08:00

iOS 上用 stream app 可以正常抓包。现在不知道什么原因用 Wireshark Helper 弄出来的代理直接导致 iOS 网络连不上了。

thisismr2

2020-11-25 11:12:26 +08:00

@crab 不要混着用啊, 各家的 app 设计原理都不一样的

crab

2020-11-25 11:18:50 +08:00

@thisismr2 没同时用。设置按你视频操作操作，iOS 上 vpn 图标也有，虽然 Wireshark 那边可以看到有 iOS 数据进来，但 iOS 上的网络请求没办法得到响应。

thisismr2

2020-11-25 11:24:44 +08:00

@crab 估计根证书没信任彻底吧

thisismr2

2020-11-25 11:27:37 +08:00

还有“但 iOS 上的网络请求没办法得到响应“ 可以展开, 比如访问 https://www.baidu.com 提示页面会出现错误, 错误描述是:xxx

gogo88

2020-11-25 11:28:11 +08:00 via iPhone

可以弃用其它抓包 App 了，厉害👍

qq2511296

2020-11-25 11:28:32 +08:00

试试看看能中不

ben0629

2020-11-25 11:31:58 +08:00

上次没中，这次再来试试

NFC

2020-11-25 11:37:17 +08:00 via iPhone

感觉你这个更强大啊。

adminii

2020-11-25 11:44:25 +08:00 via iPhone

难道是抓包工具？拉低中奖率

VHacker1989

2020-11-25 11:52:29 +08:00

拿开源的项目来卖钱真的好吗

VHacker1989

2020-11-25 11:53:39 +08:00

稍微有点动手能力，整合一下开源工具都不会用这玩意

xiaocsl

2020-11-25 11:58:58 +08:00

抽一个...

thisismr2

2020-11-25 12:01:28 +08:00

@crab 还有, 你看下那个帖子最后一个 append 的内容

thisismr2

2020-11-25 12:15:53 +08:00

@VHacker1989 您这逻辑.

xionger

2020-11-25 12:28:53 +08:00

@thisismr2 支持楼主不用搭理那脑回路的人看他加入时间 V2EX 第 511086 号会员加入于 2020-10-04 10:28:07 +08:00

楼主为开源做的贡献还少吗再说楼主算是写了个 app 解决了一个痛点又没卖别人的代码你行你也弄个试试啊

同时求楼主支持 iOS13 好多同事不想升级 iOS14 啊

thisismr2

2020-11-25 12:31:36 +08:00

❤️ 1-10 楼中奖者: #8 @MrWhite 请在这里 base64 贴上你的邮箱, 并告知需要 Android 还是 iOS

thisismr2

2020-11-25 12:33:54 +08:00

❤️ 11-20 楼中奖者: #14 @ben0629 请在这里 base64 贴上你的邮箱, 并告知需要 Android 还是 iOS

superrichman

2020-11-25 12:35:32 +08:00 via iPhone

分母

thisismr2

2020-11-25 12:51:44 +08:00

@xionger 我的升了 iOS14, 下一版会支持 iOS13, 还需要一些工作, 回头买个二手的 iOS13 手机测试下,

ben0629

2020-11-25 12:55:18 +08:00

@thisismr2 MzQ4Njg0MjAyQHFxLmNvbQ== 设备是 ios，感谢！

cwyalpha

2020-11-25 13:00:07 +08:00 via iPhone

继续分母

Codelike

2020-11-25 13:06:56 +08:00

有意思分母+1

crab

2020-11-25 13:08:43 +08:00

@thisismr2 证书安装信任的了，dns.google 也支持。不能访问页面提示的是无法访问此网站，响应时间过长。

thisismr2

2020-11-25 13:13:19 +08:00

@crab 我建了个临时 http server, 你试试能按视频操作后能访问这个吗 http://18.141.203.15

SingeeKing

2020-11-25 13:16:55 +08:00

回复总是要回复的，万一中讲了呢

crab

2020-11-25 13:18:38 +08:00

@thisismr2 这个可以访问到。

crab

2020-11-25 13:21:43 +08:00

@thisismr2 这样看还是 dns 出问题了？

liguoqinjim

2020-11-25 13:21:54 +08:00

抓包需要！当个分母

cwyalpha

2020-11-25 13:28:16 +08:00 via iPhone

分母+1

thisismr2

2020-11-25 13:29:40 +08:00

@crab 如果 IP 可以访问到. 说明 DNS 问题. 而目前 iOS 的 DNS 是使用的[域名 TLS: dns.google, IP: 8.8.8.8, 端口: TCP853],
在你电脑命令行里用 dnslookup 确认你电脑网络访问这个 google 的 tls 的 dns 没有问题的话(千万确认)那么:
既然是 TLS, 所以会走 TLS 解密, 所以会需要用到根证书信任, 推测原因是: 你安装信任根证书那一步有问题. 建议检查: [设置->General->Profiles] 和 [设置] ->General->About->Certificate Trust Settings] 这两个地方.

3dxfv

2020-11-25 13:34:05 +08:00 via Android

试一下哈

crab

2020-11-25 13:37:29 +08:00

@thisismr2 不好意思啊。[设置] ->General->About->Certificate Trust Settings] 这个地方没信任上。

thisismr2

2020-11-25 13:38:32 +08:00

@crab #37

Suclogger

2020-11-25 13:39:28 +08:00

分母+1

thisismr2

2020-11-25 13:40:38 +08:00

@crab 估计给差评的那哥们亦如是也 :) 烦请使用者多多研究

googlehub

2020-11-25 13:41:36 +08:00

分母+1

troyl

2020-11-25 13:41:39 +08:00 via iPhone

平时工作都是用 Charles 抓包，看到这个有点想试试了。

honk

2020-11-25 13:42:26 +08:00

牛逼！想試試

liusir

2020-11-25 14:09:40 +08:00

上次没中,再试试

blakejia

2020-11-25 14:10:28 +08:00

分母一下

thisismr2

2020-11-25 14:26:26 +08:00

@MrWhite TODO
@ben0629 已发

💛 21-30 楼中 #28 @cwyalpha
💛 31-40 楼中 #32 @SingeeKing

请在这里 base64 贴上你的邮箱, 并告知需要 Android 还是 iOS

xionger

2020-11-25 14:30:02 +08:00

@thisismr2 #26 感谢楼主, 持续关注, 等支持 iOS13 的了我让同事试试

SingeeKing

2020-11-25 14:39:31 +08:00

这辈子第一次从 v2 中奖……

感谢，iOS，邮箱：c2luZ2Vla2luZ0BnbWFpbC5jb20=

thisismr2

2020-11-25 14:51:52 +08:00

@SingeeKing 已发

HFX3389

2020-11-25 14:54:01 +08:00

我咋印象中这个帖子发过一次....

xiaolang

2020-11-25 15:00:34 +08:00

分母+1

longyujin9

2020-11-25 15:01:00 +08:00

分母+1

thisismr2

2020-11-25 15:07:51 +08:00

💛 41-50 楼 #41 @Suclogger 请在这里 base64 贴上你的邮箱, 并告知需要 Android 还是 iOS. 谢谢

2020-11-25 15:11:38 +08:00 via iPhone

这帖再抽一次

Cawrr

2020-11-25 15:12:30 +08:00

分母+1

pirates

2020-11-25 15:32:51 +08:00

来试试

yushiro

2020-11-25 15:35:12 +08:00 via iPhone

咦，lz 又来了啊，上次给人推荐过你的 app 。

thisismr2

2020-11-25 15:40:27 +08:00

@yushiro 谢谢

byte10

2020-11-25 15:41:07 +08:00

@VHacker1989 哈哈，牛

Suclogger

2020-11-25 15:42:18 +08:00

@thisismr2 非常感谢，需要 iOS 版本，邮箱：echo Y2FpcnVucWlhbmdAZ21haWwuY29t | base64 --decode

rikka

2020-11-25 15:43:15 +08:00

分母+1

thisismr2

2020-11-25 15:46:07 +08:00

💛 51-60 楼 #56 @ik 请在这里 base64 贴上你的邮箱, 并告知需要 Android 还是 iOS. 谢谢

thisismr2

2020-11-25 15:51:59 +08:00

@Suclogger 哎呀太贴心了😊, 我直接复制粘贴回车就可以了. 已发

MengiNo

2020-11-25 16:02:13 +08:00

分母+1

2020-11-25 16:04:01 +08:00 via iPhone

@thisismr2 #64 dnZkd2FuZ0BpY2xvdWQuY29tCg== 终于中了，多谢老铁 iphone/ios

thisismr2

2020-11-25 16:10:17 +08:00

@ik 已发

peacewalker

2020-11-25 16:27:41 +08:00

分母+1

sankemao

2020-11-25 16:43:46 +08:00

分母来了

q8515620

2020-11-25 16:49:24 +08:00 via Android

支持一下，万一中了呢？

thisismr2

2020-11-25 16:53:23 +08:00

💛 61-70: #70 @sankemao 请在这里 base64 贴上你的邮箱, 并告知需要 Android 还是 iOS. 谢谢

sdandroid

2020-11-25 17:22:39 +08:00

分母+1

zhangchioulin

2020-11-25 17:52:58 +08:00

@cwyalpha #1 iOS Frida 配合脚本 Hook "libboringssl.dylib" 在回调的地方可以获得 keylog，然后 wireshark 可以看原文；解决的话 Hook "Security" 的 "SecTrustEvaluate" 能解决，再或者自己写一个 MitM

qinxi

2020-11-25 18:05:04 +08:00

stream 有..不过也不知道他工作在第几层.
来当个分子试试这个

xiaopenyou

2020-11-25 20:14:03 +08:00

分母，今天刚有个人跟我聊准备从 mitmweb 换到 mitmdump，没想到转身来 v 站就遇到这帖了

AmItheRobot

2020-11-25 20:14:43 +08:00

分母+1

axo

2020-11-25 20:15:02 +08:00

分母+1

lada05

2020-11-25 20:28:44 +08:00

试试运气

brotherlegend

2020-11-25 20:38:55 +08:00 via Android

来啦，我也参加一下。

o0OoO0o

2020-11-25 20:54:50 +08:00

感谢

Maskeney

2020-11-25 21:11:19 +08:00

试试

FaiChou

2020-11-25 21:18:05 +08:00

```swift
let sessionConfig = URLSessionConfiguration.default
sessionConfig.connectionProxyDictionary = [AnyHashable : Any]() // 主要是这一行
let session = URLSession.init(configuration: sessionConfig, delegate: nil, delegateQueue: OperationQueue.current)
// 网络请求
```

楼主提到的「一行代码」可以 bypass 系统代理, 是上面这几行吗?