【发布时间】:2022-08-17 11:30:41
【问题描述】:
Parquet.Net 规范说我可以用RLE_DICTIONARY 编码读写。我正在尝试阅读 Parquet.Net 的文档和 github repo 代码,但是如何编写我的 DataTable 以使用这种编码?
我基于此的演示可在此处找到:
标签: c# parquet asp.net-core-3.1 .net-core-3.1 parquet.net
Parquet.Net 规范说我可以用RLE_DICTIONARY 编码读写。我正在尝试阅读 Parquet.Net 的文档和 github repo 代码,但是如何编写我的 DataTable 以使用这种编码?
我基于此的演示可在此处找到:
标签: c# parquet asp.net-core-3.1 .net-core-3.1 parquet.net
我也正在寻找这个答案,我刚刚找到了这样的答案: 如果您使用的是火花,只需编写 DataFrame
df.write
.option("parquet.enable.dictionary",true) //true is RLE_DICTIONARY and false plain (maybe)
.parquet(yourPath)
【讨论】: