雪花解析多行 JSON

Question

对 Snowflake 还很陌生，但已通过各种方法成功加载数据。

问题： 我通过 Azure 数据工厂调用 Web API，使用分页规则写入 blob 存储中的单个 JSON 文件。这是通过单个 ADF 数据复制活动使用多个调用完成的，该活动利用 AbsoluteURL 合并到单个文件（我可以编写额外的、复杂的 ADF 逻辑来生成多个文件，但对于本示例，我希望使用单个文件方法）。这在我的 ADF 管道中非常有效，我可以写成数组或对象集。

ADF 部分运行良好，但在通过阶段加载到 Snowflake 中的行表时，我无法解析“合并”的 JSON 文件。

名为“setOfObjects.json”的输出 JSON 文件对于 ADF JSON 接收器设置如下所示：setOfObjects（JSON 行）：

{"values":[{"a":"1","b":"1","c":"1"},{"a":"2","b":"2","c":"2"}]}
{"values":[{"a":"3","b":"3","c":"3"},{"a":"4","b":"4","c":"4"}]}
<empty line>

在雪花中，我创建了一个舞台，例如

create or replace stage dbo.stage_json_example url = 'azure://<endpoint>.blob.core.windows.net/test/stackOverflow/'
credentials = (azure_sas_token = '<sas_token>')
file_format = (type = 'json');

然后在 Snowflake 中，我尝试解析 JSON 文件，但它返回 NULL 值：

select $1:values:a::string
from @dbo.stage_json_example/setOfObjects.json;

从上面，我想将单个 JSON 文件转换为 4 行：

a	b	c
1	1	1
2	2	2
3	3	3
4	4	4

感谢任何建议。谢谢

Answer 1

好的，从这个链接https://community.snowflake.com/s/article/json-data-parsing-in-snowflake找到答案

这个雪花代码解决了这个问题。

select t.value:a::int as "a", t.value:b::int as "b", t.value:c::int  as "c"
from @dbo.stage_json_example/setOfObjects.json as S
, table(flatten(S.$1,'values')) t;

Answer 2

也许您尝试在文档的开头写一个{，在文档的末尾写一个}。 JSON 总是需要一个文档根目录。有了这个改变，你就有了。

所以你的例子看起来像：

{
 {"values":[{"a":"1","b":"1","c":"1"},{"a":"2","b":"2","c":"2"}]}
 {"values":[{"a":"3","b":"3","c":"3"},{"a":"4","b":"4","c":"4"}]} 
}