来自 电脑系统 2019-09-19 12:04 的文章
当前位置: 金沙澳门官网网址 > 电脑系统 > 正文

之网络安全HTTPS,查尔斯的HTTPS抓包方法及原理分

作为移动平台的RD,项目开发过程中一项比较重要的甩锅技能——抓包应该大家都比较熟悉了,毕竟有些bug可能是由服务端下发的数据出错导致的。虽然抓包工具很好用,但是如果不做一些设置的话,对于HTTPS协议的请求就无能为力了,比如这样

HTTP 缺点

图片 1

1. 通信使用明文(不加密),内容可能会被窃听

由于HTTP 本身不具备加密的功能,所以也无法做到对通信整体(使用HTTP 协议通信的请求和相应的内容)进行加密。窃听通信并非难事,只需要收集在互联网上流动的数据包(帧)就行了。对于收集来的数据包解析的工作,可以交给抓包工具(Charles)

这对于一些注重安全性的应用来说,或许就不是特别好使,我们的项目目前也在逐渐从HTTP转向HTTPS,因此掌握这些技巧还是比较有用的。抓包工具多种多样,比较好使的还是Charles和Fiddler,下面就简单的介绍下HTTPS的相关原理并以Charles为例来介绍下如何抓取HTTPS协议的包。

2. 不验证通信方的身份就可能遭遇伪装

任何人都已发起请求,HTTP 协议通信时,不存在确认通信方的处理步骤。服务器只要接收到请求,不管对方是谁都会返回一个响应(但也仅限于发送端的IP 地址和端口号没有被Web 服务器设定限制访问的前提下)

其实使用工具抓HTTPS的包本身并不难,两三步简单的操作就可以实现,关键如果不理解原理的话,总觉得不舒服斯基,所以把原理分析放在前面。

3. 无法证明报文完整性,可能已遭篡改

完整性是指信息的准确度,若无法证明其完整性,通常也就意味着无法判断信息是否准确。

比如,从某个Web 网站上下载内容,是无法确定客户端下载的文件和服务器上存放的文件是否前后一致的。文件内容在传输途中可能已经被篡改为其他的内容。即使内容真的以改变,作为接收方的客户端也是觉察不到的,这个情况称为中间人攻击

HTTPS(Hyper Text Transfer Protocol Secure),是一种基于SSL/TLS的HTTP,所有的HTTP数据都是在SSL/TLS协议封装之上进行传输的。HTTPS协议是在HTTP协议的基础上,添加了SSL/TLS握手以及数据加密传输,也属于应用层协议。所以,研究HTTPS协议原理,最终就是研究SSL/TLS协议。

HTTP+加密+认证+完整性保护=HTTPS

为了解决上述问题,需要在HTTP 上再加入加密处理和认证的机制。我们把添加了加密及认证机制的HTTP 称为HTTPS。

HTTPS 并非是应用层的一种新协议。只是HTTP 通信接口部分用SSL(Secure Socket Layer)和TLS(Transport Layer Security)协议代替而已。通常HTTP 直接和TCP 通信,当使用SSL 时,则变成先和SSL通信,再由SSL 和TCP通信了。所以HTTPS 实际是身披SSL 协议这层外壳的HTTP。

运行过程

我们都知道HTTPS在保证数据安全传输上使用了加密算法,但是具体是如何加密的,或许许多人和我一样也是云里雾里。实际上SSL/TLS协议的基本思路是非对称加密和对称加密结合来传输数据,一言以弊之,HTTPS是通过一次非对称加密算法进行了协商密钥的生成与交换,然后在后续通信过程中就使用协商密钥进行对称加密通信,之所以要使用这两种加密方式的原因在于非对称加密计算量较大,如果一直使用非对称加密来传输数据的话,会影响效率。运行过程盗用巨人的图,可以表示如下

图片 2

有了图就可以一步一步分析了

这个步骤是整个通信过程中的第一步,首先,客户端先向服务器发出加密通信的请求,在这一步中,客户端主要向服务器提供以下信息:

  • 支持的协议版本,比如TLS 1.0版
  • 一个客户端生成的随机数RandomC,稍后用于生成“协商密钥”
  • 支持的加密方法,比如RSA公钥加密。
  • 支持的压缩方法。

服务器收到客户端请求后,向客户端发出回应,服务器的回应一般包含以下内容:

  • 确认使用的加密通信协议版本,比如TLS 1.0版本。如果浏览器与服务器支持的版本不一致,服务器关闭加密通信。
  • 一个服务器生成的随机数RandomS,稍后用于生成“协商密钥”*。
  • 从客户端支持的加密方法中选择一个作为确认要使用的加密方法,比如RSA公钥加密。
  • 服务器证书。这个服务器证书就是表明服务器身份的东西,其中也包含了非对称加密中需要使用的公钥。

客户端收到服务器回应以后,首先验证服务器返回的证书。如果证书不是可信机构颁发,或者证书中的域名与实际域名不一致,或者证书已经过期,以浏览器为例客户端会向网页访问者显示一个警告,由其选择是否还要继续通信。 如果证书没有问题,客户端就会从证书中取出服务器的公钥。然后生成密码、公钥加密。生成密码的过程会先产生一个随机数Pre-master key,该随机数是整个握手阶段出现的第三个随机数,稍后会经过公钥加密发送到服务端,有了它以后,客户端和服务器就同时有了三个随机数——RandomC,RandomS,Pre-master key,接着双方就用事先商定的加密方法,各自生成本次会话所用的同一把“协商密钥”。

加密信息是指上面一步生成的内容,主要包括

  • 一个随机数Pre-master key。用于给服务端生成“协商密钥”。
  • 编码改变通知,表示随后的信息都将用双方商定的加密方法和密钥发送。
  • 客户端握手结束通知,表示客户端的握手阶段已经结束。这一项通常也是前面发送的所有内容的hash值,用来供服务器校验。

服务器收到客户端公钥加密的第三个随机数Pre-master key之后,通过自身私钥解密该数值并由之前的RandomC和RandomS计算生成本次会话所用的“会话密钥”。然后,通过约定的Hash算法验证客户端发送的数据完整性。

主要是指

  • 编码改变通知,表示随后的信息都将用双方商定的加密方法和密钥发送。
  • 服务器握手结束通知,表示服务器的握手阶段已经结束。这一项同时也是前面发生的所有内容的hash值,用来供客户端校验。

客户端解密并计算握手消息的HASH,如果与服务端发来的HASH一致,此时握手过程结束。

握手成功之后,所有的通信数据将由之前协商密钥及约定好的算法进行加密解密。

Charles本身是一个协议代理工具,如果只是普通的HTTP请求,因为数据本身没经过再次加密,因此作为代理可以知道所有客户端发送到服务端的请求内容以及服务端返回给客户端的数据内容,这也就是抓包工具能够将数据传输内容直接展现出来的原因。对于HTTPS请求,4,6,8步骤的数据都已经经过了加密,代理如果什么都不做的话是无法获取到其中的内容的。为了实现这个过程的数据获取,Charles需要做的事情是对客户端伪装服务端,对服务端伪装客户端,具体

  • 截获真实客户端的HTTPS请求,伪装客户端向真实服务端发送HTTPS请求
  • 接受真实服务器响应,用Charles自己的证书伪装服务端向真实客户端发送数据内容

一般情况下HTTPS中是客户端对服务端做证书校验,当然也有一些金融机构会有用户证书作为提供给服务端做用户认证的工具,保证发出请求的的确是这部分授权用户。我们仅分析客户端对服务单做证书校验的这种。Android有自己的一套HTTPS通信调用方式,以HttpsURLConnection为例

图片 3

上面这段代码就是一个https请求的样例,这种方法的特点是证书校验工作交由系统处理,系统只会允许可信CA签发的数字证书能够访问,私有CA签发的数字证书(比如12306以及我们上文说的Charles证书)是无法访问的。那么如何绕过呢,

  • 第一种方法是修改Https通信代码,这种只对开发者开发应用的时候好使,我们需要实现X509TrustManager接口去做自己的一套证书校验,它并不通用,尤其是对于我们抓包而言是不可行的,因为我们没法去修改别人应用中的代码。
  • 第二种方法是将私有CA签发的数字证书安装到手机中并且作为受信任证书保存,这种方式是我们推荐的方式,唯一的缺点是你的手机上可能会在通知栏一直留着一个特殊标志,告诉你网络可能被监控。恩,不监控我们怎么抓包呢,哈哈。

原理都说完了,下面就是贴图时间,我们要做的最重要的其实只有一件事情,就是

将私有CA签发的数字证书安装到手机中并且作为受信任证书保存

一步一步来

  • 首先打开Charles菜单,选择安装Charles证书到移动设备

图片 4

  • Charles提示你如何安装,这里如何用手机连接Charles就不做叙述了,普通的HTTP抓包都需要执行

图片 5

  • 手机上打开
  • 选择Proxy-SSL Proxying Settings,设置启用SSL代理能力,并自行Add需要抓取的服务地址

图片 6图片 7Paste_Image.png

加密方式

1. 对称加密

加密和解密同用一个密钥的方式称为对称加密。所以客户端和服务端可以采用同一个密钥的方式对通信内容进行加密解密,但是有一个问题,这个密钥在传输时也可能被中间人获取,中间人可以将其换成自己的密钥,也就失去了加密的意义。怎么才能安全的转交这个密钥呢?

本文由金沙澳门官网网址发布于电脑系统,转载请注明出处:之网络安全HTTPS,查尔斯的HTTPS抓包方法及原理分

关键词: