GCP 通过 Beam / Dataflow API 加密 Bigquery 和 Cloud SQL

Question

上下文：我们正在尝试使用 GCP Dataflow (Apache Beam) 将一些 CSV 格式的数据加载到 GCP BigQuery。作为其中的一部分，首次（针对每个表）通过 BigQueryIO API 创建 BQ 表。客户要求之一是 GCP 上的数据需要使用客户提供/管理的加密密钥进行加密。

问题说明：我们无法在创建表时通过 API 找到任何方法来指定“自定义加密密钥”。 GCP 文档详细介绍了如何通过 GCP BQ 控制台指定自定义加密密钥，但在 DataFlow 代码中找不到通过 API 指定它的任何内容。

代码片段：

String tableSpec = new StringBuilder().append(PipelineConstants.PROJECT_ID).append(":")
    .append(dataValue.getKey().target_dataset).append(".").append(dataValue.getKey().target_table_name)
    .toString();

ValueProvider<String> valueProvider = StaticValueProvider.of("gs://bucket/folder/");

dataValue.getValue().apply(Count.globally()).apply(ParDo.of(new RowCount(dataValue.getKey())))
    .apply(ParDo.of(new SourceAudit(runId)));

dataValue.getValue().apply(ParDo.of(new PreProcessing(dataValue.getKey())))
    .apply(ParDo.of(new FixedToDelimited(dataValue.getKey())))
    .apply(ParDo.of(new CreateTableRow(dataValue.getKey(), runId, timeStamp)))
    .apply(BigQueryIO.writeTableRows().to(tableSpec)
        .withSchema(CreateTableRow.getSchema(dataValue.getKey()))
        .withCustomGcsTempLocation(valueProvider)
        .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED)
        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND));

查询：如果有人可以告诉我们

• 是否可以通过 Beam API 提供加密密钥？
• 如果当前版本无法实现，那么可能的工作是什么 周围？

如果需要更多信息，请告知。

Answer 1

客户提供的加密密钥是一项新功能，并非所有库都已更新以支持它。

如果您事先知道表名，则可以使用 UI/CLI 或 API 创建表，然后运行正常流程将数据加载到该表中。这可能适合您。

https://cloud.google.com/bigquery/docs/customer-managed-encryption#create_table

创建表的API：https://cloud.google.com/bigquery/docs/reference/rest/v2/tables/insert

您需要在表格对象上设置此部分： “加密配置”：{ “kmsKeyName”：字符串 } 更多详情见表：https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#resource