【发布时间】:2019-03-25 12:58:18
【问题描述】:
我的 Apache Beam 应用程序接收 JSON 数组中的消息,但将每一行插入 BigQuery 表。我如何在 ApacheBeam 中支持这个用例?我可以将每一行拆分并一一插入到表中吗?
JSON 消息示例:
[
{"id": 1, "name": "post1", "price": 10},
{"id": 2, "name": "post2", "price": 20},
{"id": 3, "name": "post3", "price": 30}
]
BigQuery 表架构:
[
{
"mode": "REQUIRED",
"name": "id",
"type": "INT64"
},
{
"mode": "REQUIRED",
"name": "name",
"type": "STRING"
},
{
"mode": "REQUIRED",
"name": "price",
"type": "INT64"
}
]
【问题讨论】:
-
您好 Yoshei 抱歉,但不确定问题的描述。您在询问是否在 apache Bean 中获得 JSON 数组,如何处理它并将逐行插入 bigQuery。所以在你的例子中是 3 行?
-
是的,正如我描述的问题
标签: json google-bigquery apache-beam