在 Java 中将 Avro 转换为 ORC？

Question

我希望从 Kafka 使用的 Avro 消息创建一堆 ORC 文件。

我在下面看到了一些使用 Spark 的示例代码。我只是在一个独立的进程中运行它，并想知道我应该研究什么样的选项。例如，我想将这些文件泵入像 S3 这样的云存储中。有推荐的方法吗？

SparkConf sparkConf = new SparkConf()
    .setAppName("Converter Service")
    .setMaster("local[*]");

SparkSession sparkSession = SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate();

// read input data
Dataset<Row> events = sparkSession.read()
    .format("json")
    .schema(inputConfig.getSchema()) // StructType describing input schema
    .load(inputFile.getPath());

// write data out
DataFrameWriter<Row> frameWriter = events
    .selectExpr(
        // useful if you want to change the schema before writing it to ORC, e.g. ["`col1` as `FirstName`", "`col2` as `LastName`"]
        JavaConversions.asScalaBuffer(outputSchema.getColumns()))
    .write()
    .options(ImmutableMap.of("compression", "zlib"))
    .format("orc")
    .save(outputUri.getPath());

Answer 1

为 Spark 使用 Databricks avro reader 创建数据帧。 Spark 原生支持 ORC，因此文件创建轻而易举。

您会找到 Avro 库 in Maven。

在 Scala 中，它看起来像这样：

import spark.implicits._
import org.apache.spark.sql.SparkSession

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

val df = spark.read.format("avro").load("/tmp/episodes.avro")
// From string: val df = spark.read.avro(Seq(avroString).toDS)

df.write.orc("name.orc") // You can write to S3 here