将 pcap 文件导入数据库答案

【问题标题】：import pcap files into database将 pcap 文件导入数据库
【发布时间】：2014-06-08 00:06:08
【问题描述】：

如果有人可以帮助我，我将不胜感激。我有一些 Wireshark / pcap 文件 - 大约 30 个文件。我需要分析它们是否存在恶意活动。网络是否以任何方式受到损害。搜索文件的最佳方法是什么？我正在考虑将它们加载到数据库中。我知道 pcap 文件需要转换为 csv 格式才能导入数据库。

在 Microsoft SQL 或 mySQL 之间使用哪种数据库更好？基本上哪个数据库更容易导入 CSV 文件？

【问题讨论】：

标签： mysql wireshark pcap

【解决方案1】：

我无法回答您的数据库特定问题，但我可以就如何分析捕获文件以及如何使用现有流行的解决方案将它们放入数据库提供建议。

如果您只是想要基于签名的警报，我建议您阅读您的 PCAP 文件到带有 Barnyard 的 Snort 或 Suricata 等 IDS 中，以输出到数据库后端。存在 Snorby 和 Squert 等 Web 前端来搜索和分类警报。使用许多流行的 IDS 引擎可以轻松读取 PCAP 文件，例如

$ snort -r traffic.pcap

如果您只想像数据一样流动，但我建议使用一些应用层解码使用 Bro 输出 CSV 或其默认的 TSV（制表符分隔）格式，可以很容易地存储在数据库中并提供大量信息。

Bro 将其解码后的流量写入协议名称的单个日志文件，例如dns.log、http.log。

$ bro -r traffic.pcap
$ head http.log
1216691479.339424   kfuZwhwI5c6 192.168.1.64    41607   65.175.87.70    80  1   GET e.drugstore.com /a/hBIhP7YAbeh5-B7SEoEBNJqOT.AcGxgqbm/spacer.gif    -   Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10_5_4; en-us) AppleWebKit/525.18 (KHTML, like Gecko)   0   43  200 OK  -   (empty) -   -   -   image/gif   -   -
$ head dns.log
1216691468.360749   MCshRYLiesf 192.168.1.64    20128   192.168.1.254   53  udp 3217    ssl.google-analytics.com    1   C_INTERNET  NOERROR F   F   T   T   0   ssl-google-analytics.l.google.com,209.85.171.97 26636.000000,65.000000
$ head ssl.log
1216691467.672054   NdRPIIlKZaa 192.168.1.64    34050   74.125.19.103   443 TLSv10  TLS_RSA_WITH_RC4_128_SHA    www.google.com  9fea36dc5f2dc0d7bbfac02cec7595cf130f638a69a671801be670353be0c687    -   -   -   -   -
$ head files.log
1396403999.886276   FIvzWp1ZUUnNJD9i6   192.168.1.64    65.175.87.70    CtuART1AUxrAifTqd4  HTTP    0   SHA1,MD5    image/jpeg  -   9.956452    F   F   728731  728731  0   0   F   -   8cbf8f2e2713629fcd3ade0965e5e1f9    6ebfa114d86191eecb725c14f98b7c2a24a0cfa0    -

要以 CSV 格式输出，您可以像这样设置 Bro 的字段分隔符：

$ bro -r day1.pcap 'LogAscii::separator = ",";'
$ head http.log

1216691479.339424,SVZC7821ith,192.168.1.64,41607,65.175.87.70,80,1,GET,e.drugstore.com,/a/hBIhP7YAbeh5-B7SEoEBNJqOT.AcGxgqbm/spacer.gif,-,Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10_5_4; en-us) AppleWebKit/525.18 (KHTML\x2c like Gecko),0,43,200,OK,-,-,-,(空),-,-,-,image/gif,- ,-

在我看来，最终的简单解决方案是在虚拟机中安装 SecurityOnion，通过设置向导，然后在网络接口。

$ tcpreplay -i eth0 *.pcap

这将为您提供上面列出的所有内容，但更多开箱即用：

使用 Snort 或 Suricata 进行 IDS 分析，存储在 MySQL 数据库中，可搜索通过网络前端：Squert、Snorby 和 ELSA
Bro 日志写入 /nsm/bro/logs 并可在 ELSA 前端搜索
解码的会话（如果适用）和资产信息存储在 MySQL 数据库中，可通过 Sguil 进行搜索，并可转入 Wireshark 或 Network Minor 以进行更仔细的检查。
能够让 Bro 从网络流中提取文件以进行取证分析

最后，还有 Moloch，一个开源 IPv4 全 PCAP 捕获、索引和数据库系统。我没有使用 Moloch，但它看起来可以解决你的问题。

【讨论】：

【解决方案2】：

有一个工具可以将 PCAP 文件转换为数据库服务器中的一组关系表。看看这个： https://code.google.com/p/pcap2sql

问候。

【讨论】：