更改 parquet 日志级别答案

【问题标题】：Alter parquet log level更改 parquet 日志级别
【发布时间】：2017-02-12 18:19:49
【问题描述】：

我在将 json 文件转换为 parquet 格式的 java 程序中使用 org.apache.parquet。但是，无论我尝试什么，我都无法禁用镶木地板自己的标准输出日志记录。有没有办法改变 parquet 日志记录级别，或者完全关闭它？

标准输出上的日志消息示例...

12-Feb-2017 18:12:21 INFO: org.apache.parquet.hadoop.ColumnChunkPageWriteStore: written 427B for [verb] BINARY: 2,890 values, 385B raw, 390B comp, 1 pages, encodings: [BIT_PACKED, PLAIN_DICTIONARY], dic { 2 entries, 17B raw, 2B comp}
12-Feb-2017 18:12:21 INFO: org.apache.parquet.hadoop.ColumnChunkPageWriteStore: written 3,256B for [postedTime] BINARY: 2,890 values, 3,585B raw, 3,180B comp, 1 pages, encodings: [BIT_PACKED, PLAIN_DICTIONARY], dic { 593 entries, 16,604B raw, 593B comp}
12-Feb-2017 18:12:21 INFO: org.apache.parquet.hadoop.ColumnChunkPageWriteStore: written 4,611B for [message] BINARY: 2,890 values, 4,351B raw, 4,356B comp, 1 pages, encodings: [BIT_PACKED, PLAIN_DICTIONARY], dic { 2,088 entries, 263,329B raw, 2,088B comp}

我如何称呼镶木地板的示例...

public void writeToParquet(List<GenericData.Record> recordsToWrite, Path fileToWrite) throws IOException {
    try (ParquetWriter<GenericData.Record> writer = AvroParquetWriter
            .<GenericData.Record>builder(fileToWrite)
            .withSchema(SCHEMA)
            .withConf(new Configuration())
            .withCompressionCodec(CompressionCodecName.SNAPPY)
            .build()) {

        for (GenericData.Record record : recordsToWrite) {
            writer.write(record);
        }
    }
}

【问题讨论】：

标签： java parquet

【解决方案1】：

我知道这是一个老问题，但我刚刚在 CDH 5.x 中将 Parquet 与 Hive 一起使用时遇到了这个问题，并找到了解决方法。见这里：https://stackoverflow.com/a/45572400/14186

也许其他人会觉得它有用。

【讨论】：