在 GCP 上存储审核日志

Question

我想将审核日志存储在我们的 GCP 集群（我们的应用所在的位置）上。那里有不同的存储/数据库选项。我们正在研究一张表，在没有任何关系的情况下对类似的表进行存储。

背景：我们正在提供企业级大规模 SaaS 解决方案 我需要对我们的审计日志进行写入，通过审计日志字段/列搜索它们并组合（AND，OR）。排序选项也很重要。

我专注于以下选项（如果还有其他更匹配的选项，请告诉我）

1. 云存储
2. Cloud Firestore
3. GCP 管理 Atlas Kafka

我们的要求是：

1. 拥有可扩展的高性能存储
2. 数据是静态加密的
3. 具有搜索功能（完整的测试搜索将是完美的，但我擅长按列/归档的简单搜索）

到目前为止，我从需求点发现了什么：

1. Mongo 的性能优于 Firebase。不确定将 Cloud Storage（标准模式）与 Mongo 进行比较。
2. Cloud Storage 和 Cloud Firestore 会加密数据。不确定 Mongo
3. Cloud Firestore 和 Mongo 具有开箱即用的搜索功能（不是全文搜索）。 Cloud Storage 使用 BigQuery 和永久/临时表进行搜索。

我的感觉是云存储不是最佳选择。我认为搜索功能有点麻烦。这也是大型二进制文档（图像、视频）的基于文档的结构。如果我错了，请纠正我。

最后 2 个更接近匹配解决方案。从企业的角度来看，Mongo 看起来更接近。

请告诉我你的想法。

Answer 1

使用 BigQuery！你可以sink the logs directly in BigQuery。在 GCP 中，所有数据都是静态加密的。 BigQuery 是一个强大的数据仓库，具有强大的查询能力。此解决方案可满足您的所有要求。