Google Cloud Functions：使用非标准键将 GCS JSON 文件加载到 BigQuery

Question

我有一个 Google Cloud Storage 存储桶，其中的旧系统会丢弃需要加载到 BigQuery 中的 NEW_LINE_DELIMITED_JSON 文件。

我编写了一个谷歌云函数，它接收 JSON 文件并将其加载到 BigQuery。该函数适用于示例 JSON 文件 - 问题是遗留系统正在使用非标准密钥生成 JSON：

{
  "id": 12345,
  "@address": "XXXXXX"
  ...
}

当然，“@address”键会抛出所有问题，并且云功能会出错......

是否有任何选项可以“忽略”具有非标准键的 JSON 字段？或者提供一个映射并忽略任何不在映射中的 JSON 字段？我环顾四周，看看是否可以停用自动检测并提供我自己的映射，但在线文档并未涵盖这种情况。

我正在考虑以下选项：

• 将内存中的文件加载到字符串var中
• 用地址替换@address
• 将 json 换行符转换为字典列表
• 使用 bigquery 流插入在 BQ 中插入行

但是恐怕这会花费更长的时间，文件大小可能会超过函数的最大 2Gb，在变量中加载文件时处理 unicode 等等等等等等。

我还有什么其他选择？

不，我不能修改旧系统来重命名“@address”字段:(

谢谢！

Answer 1

我将假设您遇到的错误是这样的：

错误：查询：无效的字段名称“@address”。字段必须包含 只有字母、数字和下划线，以字母或 下划线，长度最多为 128 个字符。

这是 BigQuery 方面的错误消息，因为 BigQuery 中的列/字段有命名限制。因此，您必须先清理文件，然后再将它们加载到 BigQuery。

这是一种完全无服务器的方法：

1. 创建云函数以在新文件到达存储桶时触发。你已经通过事物的声音完成了这部分。
2. 创建一个模板化 Cloud Dataflow 管道，在新文件到达时由 Cloud Function 触发。它只是将要处理的文件的名称传递给管道。
3. 在上述 Cloud Dataflow 管道中，将 JSON 文件读入 ParDo，并使用 JSON 解析库（例如，如果您使用 Java，则为 Jackson），在创建输出之前读取对象并删除“@” TableRow 对象。
4. 将结果写入 BigQuery。实际上，这将调用 BigQuery 加载作业。

总而言之，conga 行中需要以下内容：

File > GCS > Cloud Function > Dataflow (template) > BigQuery

这样做的好处：

1. 事件驱动
2. 可扩展
3. 无服务器/无操作
4. 您可以使用 Stackdriver 立即获得监控警报
5. 最小代码

见：

• Reading nested JSON in Google Dataflow / Apache Beam
• https://cloud.google.com/dataflow/docs/templates/overview
• https://shinesolutions.com/2017/03/23/triggering-dataflow-pipelines-with-cloud-functions/

披露：最后一个链接是我合作的一位工程师撰写的博客。