运行 Apache Hudi deltastreamer 时出错答案

【问题标题】：Error while running Apache Hudi deltastreamer运行 Apache Hudi deltastreamer 时出错
【发布时间】：2020-05-17 06:28:20
【问题描述】：

我试图在 AWS EMR 上运行 Hudi deltastreamer。按照此博客中的步骤操作。 https://cwiki.apache.org/confluence/pages/viewrecentblogposts.action?key=HUDI

但是当我运行下面的 spark 提交时，错误来了：

 Exception in thread "main" org.apache.hudi.com.beust.jcommander.ParameterException: Was passed main parameter '--table-type' but no main parameter was defined in your arg class
            at org.apache.hudi.com.beust.jcommander.JCommander.initMainParameterValue(JCommander.java:936)
            at org.apache.hudi.com.beust.jcommander.JCommander.parseValues(JCommander.java:752)
            at org.apache.hudi.com.beust.jcommander.JCommander.parse(JCommander.java:340)
            at org.apache.hudi.com.beust.jcommander.JCommander.parse(JCommander.java:319)

我运行的命令如下：

spark-submit --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer \
--packages org.apache.spark:spark-avro_2.11:2.4.4 \
 --master yarn --deploy-mode client /usr/lib/hudi/hudi-utilities-bundle.jar \
--table-type COPY_ON_WRITE --source-ordering-field payment_date --source-class org.apache.hudi.utilities.sources.ParquetDFSSource \
--target-base-path s3://sakila-db/hudi-payment \
--target-table hudi-payment \
--transformer-class org.apache.hudi.utilities.transform.AWSDmsTransformer \
--payload-class org.apache.hudi.payload.AWSDmsAvroPayload \
--hoodie-conf hoodie.datasource.write.recordkey.field=order_id,hoodie.datasource.write.partitionpath.field=staff_id,hoodie.deltastreamer.source.dfs.root=s3://sakila-db/sakila/payment

请帮忙。

【问题讨论】：

AWSDmsAvroPayload 在 0.5.1 之前也不可用。你找到解决办法了吗？
我也遇到了同样的问题...您找到解决方案了吗？（我正在尝试使用 ssh 执行 spark-submit。）

标签： apache-spark spark-streaming parquet apache-hudi

【解决方案1】：

基于EMR releases，当前支持的hudi版本是0.5.0-incubating。您遵循的步骤适用于 0.5.1，其中 --table-type 参数是 0.5.0 中旧 --storage-type 的新名称。

如果您使用的是 0.5.0，请尝试使用 --storage-type 而不是 --table-type 重新运行

【讨论】：