如何记录 Linux 端口的出口 http 请求并统计

This topic created in 1940 days ago, the information mentioned may be changed or developed.

我想要统计一段时间内 Linux 服务器发送的请求信息，预期的统计结果形式类似如下：
2021-7-11 8:00-18:00
url method conut
baidu.com get 2
v2ex.com post 3
...
目前我了解到 tcpdump 可以对请求进行抓包并记录，最后可以通过脚本的方法进行统计处理，但似乎有点麻烦，不知各位老哥有啥建议。

请求

Linux

统计

抓包并

13 replies • 2021-07-12 00:14:15 +08:00

cctv6

Jul 11, 2021

似乎只有抓包这一条路可以走
waf 防火墙设备的统计信息里面可能有记录这些服务器发起 http 请求

SJ2050cn

Jul 11, 2021

@cdlnls 有啥功能全的 waf 防火墙推荐吗，我目前机子用的 verynginx，很简陋。

Jul 11, 2021 via iPhone

clarles

Jul 11, 2021 via iPhone

纠正 charles

SJ2050cn

Jul 11, 2021

@ik 请问这个可以单独命令行安装和运行吗，服务器没配置图形化界面，上网搜了一下 charles 的教程都是在图形化界面下进行的。

Jul 11, 2021 via iPhone

@SJ2050cn 估计得图形化界面…

gefranks

Jul 11, 2021 via iPhone

本机搞个透明代理要抓的流量都过一次代理？

adrianzhang

Jul 11, 2021

如果只是 http 的话，可以从 web 服务器日志分析下手。这方面 Splunk 可以做，也有很多 open source 项目。

also24

Jul 11, 2021

直觉上可以用 mitmproxy 搞定

https://mitmproxy.org/

woodrat

Jul 11, 2021

统计出流量并且不指定进程的话，tcpdump 比较可行，其他的更麻烦一点

cctv6

Jul 11, 2021

@SJ2050cn 额，我刚刚说的防火墙不是 verynginx 这种软件。是那种硬件设备(类似深信服安恒这样厂家的产品)，这些都是基于流量去做防护的，所以我才说*可能*有记录服务器发起的 http 请求。

另外刚刚又想到一个问题，如果是在本机通过 tcpdump 抓包的话，是统计不了 https 的访问请求的，获取不到 url 和 method 。上面的 waf 应该也不行，貌似解决的办法只有让需要统计的程序使用代理，然后再在代理那一层上统计，或者是改程序，由发起请求的程序统计。

also24

Jul 11, 2021

@cdlnls #11
楼主在问题里虽然写的是 url，但是从下面的例子来看又只取了域名，如果只需要域名的话靠 SNI 信息就行了。

supermoonie

Jul 12, 2021 via iPhone

之前 java 写过 https 抓包，图形界面写了一大半，再改改就能满足你的需求