Apache Hudi 序列化问题答案

【问题标题】：Apache Hudi Serialize issueApache Hudi 序列化问题
【发布时间】：2022-07-26 10:58:14
【问题描述】：

请有人帮忙纠正这个错误当我尝试更新数据时，它显示以下错误

py4j.protocol.Py4JJavaError：调用 o84.save 时出错。 : org.apache.hudi.exception.HoodieException: hoodie 只支持 org.apache.spark.serializer.KryoSerializer 作为 spark.serializer

也试过 sc.setSystemProperty("spark.serializer", "org.apache.spark.serializer.KryoSerializer")。

错误出现在 Google 数据过程中

【问题讨论】：

标签： apache-spark google-cloud-platform serialization pyspark apache-hudi

【解决方案1】：

创建 Spark Session 时，可以指定配置。示例

spark = SparkSession.builder.config('spark.serializer', 'org.apache.spark.serializer.KryoSerializer').config('spark.sql.hive.convertMetastoreParquet', 'false').getOrCreate()

【讨论】：