【问题标题】:Parquet write to gcs is not queryable by bigquery in nodejsnodejs中的bigquery无法查询对gcs的Parquet写入
【发布时间】:2022-01-02 02:49:53
【问题描述】:

我正在使用parquetjs 创建拼花文件并推送到google cloud storage

问题是 bigquery 无法从文件中读取数据,但是当我使用 parquet-tools 时,一切看起来都很健康。

【问题讨论】:

    标签: node.js google-bigquery google-cloud-storage parquet parquetjs


    【解决方案1】:

    只需将useDataPageV2: false 作为选项传递给parquet.ParquetWriter.openFile(...)

    像这样:

    const writer = await parquet.ParquetWriter.openFile(schema, filename, { useDataPageV2: false })
    

    【讨论】:

    • 我必须在 github 的仓库中搜索才能找到它。如果您被卡住并使用 aws/s3/athena,您可以使用相同的解决方案。欲了解更多信息,请访问:github.com/ironSource/parquetjs/issues/124
    猜你喜欢
    • 1970-01-01
    • 2021-12-12
    • 2022-11-11
    • 2022-11-17
    • 1970-01-01
    • 2020-12-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多