BigQuery - 项目、数据集设置最佳做法

Question

我正在为全新的 GCP 实施设置 BigQuery。我想知道是否有关于项目、数据集组织的最佳实践，例如，我是否应该为原始、已处理、数据集市层的所有源/层创建一个具有不同数据集的单个项目？还是针对不同用例和访问模式的不同项目？

选项 1：

项目

|_ Dataset_RAW

|_ Dataset_Processes

|_ Dataset_Datamart_Finance

|_ Dataset_Datamart_Marketing

选项 2：

原始项目：

|_ Dataset_Source_A

|_ Dataset_Source_A

项目流程：

|_ Dataset_Standardized

项目融资：

|_ Dataset_Finance_DataMart

项目营销：

|_ Dataset_Marketing_DataMart

我想，这是一个广泛的问题，很大程度上取决于公司的目标。但是我很好奇是否有任何基于不同场景的可用指南。

Answer 1

有两件事要知道：

1. 如果您避免项目中的所有原始角色（所有者、编辑者、查看者），则可以在数据集级别管理访问权限。顺便说一句，将数据放入一个或另一个项目中没有影响
2. 计费在 2 中是分开的：存储成本和查询成本。如果您像选项 2 那样分离项目，并且例如，如果项目属于子公司重新计费的文件夹（如在我的公司中），您可以拥有仅托管数据的项目（几乎不支付任何费用）以及查询数据的项目。但是，如果您愿意，也可以使用数据集上的标签来管理它

另一个考虑因素：如果您想使用 VPC 服务控制来保护您的数据，将敏感数据存储在特定项目（您想使用 VPC SC 保护）中会很有趣

如您所见，一切都取决于您的组织、战略和愿望。我的建议是在项目组织中重现真实的团队组织。你有3个不同的团队？配置3个项目，每个团队负责自己的项目。