【问题标题】:Writing a Parquet.Net file using RLE_DICTIONARY encoding使用 RLE_DICTIONARY 编码编写 Parquet.Net 文件
【发布时间】:2022-08-17 11:30:41
【问题描述】:

Parquet.Net 规范说我可以用RLE_DICTIONARY 编码读写。我正在尝试阅读 Parquet.Net 的文档和 github repo 代码,但是如何编写我的 DataTable 以使用这种编码?

我基于此的演示可在此处找到:

Stack Overflow Parquet Size Discrepancy Question

    标签: c# parquet asp.net-core-3.1 .net-core-3.1 parquet.net


    【解决方案1】:

    我也正在寻找这个答案,我刚刚找到了这样的答案: 如果您使用的是火花,只需编写 DataFrame

    df.write
    .option("parquet.enable.dictionary",true) //true is RLE_DICTIONARY and false plain (maybe)
    .parquet(yourPath)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-10-03
      • 1970-01-01
      • 2021-07-11
      • 2010-09-13
      • 2017-05-15
      • 1970-01-01
      • 2017-10-11
      • 2016-02-01
      相关资源
      最近更新 更多