雪花 - 如何从 S3 中的镶木地板文件中读取元数据答案

【问题标题】：Snowflake - how to read metadata from parquet files in S3雪花 - 如何从 S3 中的镶木地板文件中读取元数据
【发布时间】：2021-09-22 12:55:46
【问题描述】：

我们在 Snowflake 数据库中使用外部表，以便从一些 AWS S3 存储桶中读取数据。存储桶包含各种 parquet 文件，分布在多个分区中。

我们可以使用 Snowflake 的stages、存储集成和文件格式从外部表中读取数据。

不过，我们也想从 parquet 文件中读取一些 元数据，例如数值数据类型的 precision（例如，找出有多少我们必须处理的小数位）。

为简单起见，假设我们从一个 parquet 文件中读取数据。

有没有什么方法可以直接从 Snowflake 中从该 parquet 文件中检索关于数字数据类型精度的元数据？

或者您更愿意从 Glue Catalog 或任何其他外部工具中提取元数据？

【问题讨论】：

【解决方案1】：

最近有一个公开预览可以推断出可以执行此操作的架构：

INFER_SCHEMA(
  LOCATION => '{ internalStage | externalStage }'
  , FILE_FORMAT => '<format_name>'
)

【讨论】：