从 parquet 文件中读取模式和元数据答案

【问题标题】：Reading schema & metadata from a parquet file从 parquet 文件中读取模式和元数据
【发布时间】：2022-04-20 01:28:35
【问题描述】：

我正在使用 parquetjs-lite

读取第三方 parquet 文件

const parquet = require("parquetjs-lite"); 
:
reader = await parquet.ParquetReader.openFile(fileName);
cursor = reader.getCursor()
:

我能够读取记录（和 rowCount），但如何获取架构和元数据信息。文档中的类似内容（如果我创建了架构）：

var schema = new parquet.ParquetSchema({
  name: { type: 'UTF8' },
  quantity: { type: 'INT64' },
  price: { type: 'DOUBLE' },
  date: { type: 'TIMESTAMP_MILLIS' },
  in_stock: { type: 'BOOLEAN' }
});

来自第三方拼花的字段名称。

谢谢

【问题讨论】：

标签： node.js parquet apache-arrow

【解决方案1】：

如果您通过控制台记录您的光标，您可以获得此类信息。

console.log(cursor.schema) 将为您提供 parquet 文件中每一列的类型。

您可以使用它来获取您想要的任何信息，即

let exampleType = cursor.schema.schema.[COLUMN NAME].type

【讨论】：