网络空间安全:行业资讯、技术分享、法规研讨、趋势分析……

忘记密码
“游侠安全网”创建了网络安全从业者QQ大群(群号:1255197) ,欢迎各位同仁加入!有其它问题如合作等,请联系站长“网路游侠”,QQ:55984512


使用Arkime抓包、解密和转发在线HTTPS TSL流量

2021-11-19 16:14 推荐: 浏览: 27 字号:

摘要: 由于TSL的流量流量都是加密的,对TSL的抓包一般比较麻烦,比如用Wireshar抓包还需要网站服务器私钥。最新版本的Arkime(以前叫做Moloch)可以通过PolarProxy接收抓包并解密HTTPS流。本文我们就来介绍如何将通过Arkim和Polar...

由于TSL的流量流量都是加密的,对TSL的抓包一般比较麻烦,比如用Wireshar抓包还需要网站服务器私钥。最新版本的Arkime(以前叫做Moloch)可以通过PolarProxy接收抓包并解密HTTPS流。本文我们就来介绍如何将通过Arkim和PolarProxy 实时捕获并解密更HTTPS流量。

使用Arkime抓包、解密和转发在线HTTPS TSL流量

概述

Arkime是一个开源数据包捕获软件,它可以收集到PCAP数据并对其索引。Arkime自带Web前端,用于浏览和搜索捕获的并建立索引的网络流量。

Arkime抓包并解密TSL流量需要其pcap-over-ip-server功能,并用”–pcapoveripconnect 127.0.0.1:57012″选项启动PolarProxy。PolarProxy通过TCP端口57012连接到Arkime的PCAP-over-IP侦听器,并将其解密的所有TLS数据包的副本发送给它。

安装

TLS解密是通过PolarProxy(透明的TLS拦截代理)来实施的:

使用Arkime抓包、解密和转发在线HTTPS TSL流量

PolarProxy和Arkime可以安装在服务器上,可以实现拦截,解密,索引和存储网络上多个客户端的TLS网络流量。甚至有可能在单独的服务器上安PolarProxy和Arkime,以便PolarProxy将解密的流量转发到Arkime服务器。为了避免不必要的麻烦,本文我们在Ubuntu安装了Arkime和PolarProxy。操作系统是Ubuntu 20.04.1机器,也支持其他Linux发行版版本使用,比如Arch,CentOS,Debian,Fedora和SUSE等。

安装配置Arkime

可以在Arkime官方下载适用于CentOS (rpm)和Ubuntu(deb)的预安装包安装,也可以下载源码或者从Github clone源码编译安装:

安装Arkime软件包后,通过运行以下命令配置Arkime:

sudo /data/moloch/bin/Configure

Found interfaces: lo;eth0

Semicolon ‘;’ seperated list of interfaces to monitor [eth0] none

输入”none”作为要监视的界面(当Arkime被配置为IP上的PCAP服务器时,该界面设置将被忽略)

根据提示,选择”Yes”来安装额外的ElasticSearch服务器

编辑/data/moloch/etc/config.ini,添加”pcapReadMethod = pcap-over-ip-server”,将Arkime配置为监听PCAP连接。

使用Arkime抓包、解密和转发在线HTTPS TSL流量

接下来,用以下命令启用ElasticSearch systemd服务。

sudo systemctl enable elasticsearch.service

sudo systemctl start elasticsearch.service

启动Arkime search集群。

/data/moloch/db/db.pl localhost:9200 init

创建一个新的管理员用户。

/data/moloch/bin/moloch_add_user.sh admin “Admin User” THEPASSWORD – admin

然后启用Moloch捕获和查看器服务。

sudo systemctl start molochcapture.service

sudo systemctl enable molochviewer.service

sudo systemctl start molochviewer.servic

启动后,测试一下主机上监听的TCP端口57012,确保服务已经启动。

ss -nta | grep 57012

LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*

安装配置PolarProxy

为PolarProxy的systemd服务创建一个启动用户,并按下载PolarProxy:

sudo adduser –system –shell /bin/bash proxyuser

sudo mkdir /var/log/PolarProxy

sudo chown proxyuser:root /var/log/PolarProxy/

sudo chmod 0775 /var/log/PolarProxy/

sudo su – proxyuser

mkdir ~/PolarProxy

cd ~/PolarProxy/

curl ?download=PolarProxy | tar -xzf –

exit

复制PolarProxy配置复制到systemd。

sudo cp /home/proxyuser/PolarProxy/PolarProxy.service /etc/systemd/system/PolarProxy.service

修改/etc/systemd/system/PolarProxy.service,在ExecStart命令的末尾添加”–pcapoveripconnect 127.0.0.1:57012″

使用Arkime抓包、解密和转发在线HTTPS TSL流量

启动PolarProxy服务

sudo systemctl enable PolarProxy.service

sudo systemctl start PolarProxy.service

验证PolarProxy已在TCP端口57012已经连接到Arkime的PCAP-over-IP监听端口。

ss -nta | grep 57012

LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*

ESTAB 0 0 127.0.0.1:40801 127.0.0.1:57012

ESTAB 0 0 127.0.0.1:57012 127.0.0.1:40801

抓包测试

PolarProxy当前正在监听TCP端口10443上的传入TLS连接。因此,我们可以使用以下curl命令通过TLS解密代理运行流量:

curl –insecure –connect-to web:443:127.0.0.1:10443 web

如果一切正常,解密的流量将显示在Arkime中。在浏览器中打开localhost:8005/sessions并查找与www.xxx.com的连接。

使用Arkime抓包、解密和转发在线HTTPS TSL流量

添加PolarProxy的根CA证书信任

为了让PolarProxy服务使用的根CA证书同时被操作系统和浏览器所信任,以便通过解密代理运行TLS流量而不会出现错误。请按照以下步骤添加对根CA的信任(其他发行版可能稍有差异):

sudo mkdir /usr/share/ca-certificates/extra

sudo openssl x509 -inform DER -in /var/log/PolarProxy/polarproxy.cer -out /usr/share/ca-certificates/extra/PolarProxy-root-CA.crt

sudo dpkg-reconfigure ca-certificates

选择”extra /PolarProxy-root-CA.crt”证书颁发机构

按<确定>

配置Firefox浏览器

从以下位置下载根CA证书:localhost:10080/polarproxy.cer

在Firefox 浏览器地址栏输入: about:preferences#privacy

向下滚动到”证书”,然后单击”查看证书”

使用Arkime抓包、解密和转发在线HTTPS TSL流量

导入>选择”polarproxy.cer”,导入添加信任。

配置外发HTTPS流量的防火墙重定向

最后是将本地用户的传出HTTPS流量重定向到TCP端口上PolarProxy服务监听10443。

在/etc/ufw/before.rules添加如下nat规则将传出的HTTPS流量重定向到侦听端口10443的本地PolarProxy服务。

*nat

:OUTPUT ACCEPT [0:0]

-A OUTPUT -m owner –uid 1000 -p tcp –dport 443 -j REDIRECT –to 10443

COMMIT

保存before.rules之后,重新加载UFW以激活端口重定向。

sudo ufw reload

注意,如果你使用的itpables防火墙,而非UFW,则等效规则为:

iptables -t nat -A OUTPUT -m owner –uid 1000 -p tcp –dport 443 -j REDIRECT –to 10443

确保修改防火墙规则中的uid值(1000)以匹配PolarProxy应该为其解密HTTPS流量的本地用户的uid值。

可以通过运行命令”id -u”来查看当前的uid值。

也可以将多个用户的流量从重定向到PolarProxy,但是,一定注意避免转发”proxyuser”用户HTTPS流量,否则就会形成无限死循环了。

可以使用 “id -u proxyuser” 命令查看proxyuser的uid。

这样,该主机已经配置为将自动解密HTTPS流量到到Arkime,打开Firefox并访问https网站,就可以返在Arkime查看到相关的流量。

转自 虫虫搜奇 https://baijiahao.baidu.com/s?id=1684959718996439521

联系站长租广告位!

中国首席信息安全官