如何将数据附加到现有的镶木地板文件答案

【问题标题】：How to append data to an existing parquet file如何将数据附加到现有的镶木地板文件
【发布时间】：2017-01-07 03:30:02
【问题描述】：

我正在使用以下代码创建 ParquetWriter 并向其写入记录。

ParquetWriter<GenericRecord> parquetWriter = new ParquetWriter(path, writeSupport, CompressionCodecName.SNAPPY, BLOCK_SIZE, PAGE_SIZE);

final GenericRecord record = new GenericData.Record(avroSchema);

parquetWriter.write(record);

但它只允许创建新文件（在指定的路径）。有没有办法将数据附加到现有的镶木地板文件（在路径上）？在我的情况下缓存 parquetWriter 是不可行的。

【问题讨论】：

您找到任何解决方案可以附加到镶木地板文件中吗？

标签： java hadoop parquet

【解决方案1】：

有一个名为 append:https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/SaveMode.html 的 Spark API SaveMode，我相信它可以解决您的问题。

使用示例：

df.write.mode('append').parquet('parquet_data_file')

【讨论】：

既然 parquet 客户端 API 不支持 Append 怎么能触发？
这段代码通过添加一个新文件写入 parquet 文件夹，它不会影响现有文件
正如@agonen 所说，它会创建一个新文件。有谁知道是否有办法将数据附加到现有文件？

【解决方案2】：

Parquet 是一个列文件，它优化了将所有列一起写入。如果有任何编辑，则需要重写文件。

来自维基

面向列的数据库将一列的所有值一起序列化，然后是下一列的值，依此类推。对于我们的示例表，数据将以这种方式存储：

10:001,12:002,11:003,22:004;
Smith:001,Jones:002,Johnson:003,Jones:004;
Joe:001,Mary:002,Cathy:003,Bob:004;
40000:001,50000:002,44000:003,55000:004;

一些链接

https://en.wikipedia.org/wiki/Column-oriented_DBMS

https://parquet.apache.org/

【讨论】：

以上答案不准确。 Parquet 将列分割成块，并允许将列的一部分存储在单个文件中的多个块中，因此可以追加。如果您阅读 parquet 背后的设计理念 - 很明显，格式是为附加而设计的，从结构的块页脚来看。
我认为 parquet 客户端 API 不支持 append，我知道它在 spark 中，但我对仅支持读取所需块的列存储表示怀疑。在这种情况下，追加是如何工作的，可能有机会追加到现有的列块中。你有没有架构细节的链接。