【问题标题】:Trying to upload the latest plugin for Google Cloud to Data Fusion but getting an error while uploading尝试将 Google Cloud 的最新插件上传到 Data Fusion,但上传时出错
【发布时间】:2019-09-18 13:22:52
【问题描述】:

参考我之前的这篇文章:Possible to modify or delete rows from a table in BigQuery dataset with a Cloud Data Fusion pipeline? 我正在尝试按照建议的答案编译最新版本的 Google Cloud Platform 插件并上传到 Data Fusion,以便我可以使用最新的功能。

我们已经下载了代码,编译并得到了 2 个文件:

  • google-cloud-0.13.0-SNAPSHOT.jar
  • google-cloud-0.13.0-SNAPSHOT.json

在 JSON 文件中,父工件的最后几行是:

  },
  "parents": [
    "system:cdap-data-pipeline[6.1.0-SNAPSHOT,7.0.0-SNAPSHOT)",
    "system:cdap-data-streams[6.1.0-SNAPSHOT,7.0.0-SNAPSHOT)"
  ]
}

最初我去 Data Fusion 并选择上传一个新插件,但我收到一个关于父工件不存在的错误。所以我做了一些挖掘,发现 Data Fusion 上使用的工件的版本目前是 6.0.1:

所以我将父工件修改为正确的版本,现在 JSON 文件中的最后几行显示:

  },
  "parents": [
    "system:cdap-data-pipeline[6.0.1-SNAPSHOT,7.0.0-SNAPSHOT)",
    "system:cdap-data-streams[6.0.1-SNAPSHOT,7.0.0-SNAPSHOT)"
  ]
}

当我再次尝试上传插件时,它似乎通过了工件检查步骤,但在某种类检查中失败了,我在上传屏幕中看到了这个:

检查插件的工件时找不到类。请 检查依赖项是否可用,以及正确的父工件 被指定。错误类:类 java.lang.NoClassDefFoundError, 消息:io/cdap/cdap/etl/api/validation/ValidationException。

所以现在我真的不知道这里出了什么问题。我怀疑数据融合中使用的工件版本没有引发错误的类?如果是这样,我如何更新工件本身?

或者,如果在整个过程中我还缺少其他东西,那么我非常感谢任何指导或支持! 问候

【问题讨论】:

    标签: maven google-cloud-data-fusion cdap


    【解决方案1】:

    您可以尝试使用 google-cloud plugins repo 的 release/0.12 分支。这与 6.0 版本的 Cloud Data Fusion 兼容。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2014-01-27
      • 1970-01-01
      • 2020-10-17
      • 1970-01-01
      • 1970-01-01
      • 2016-08-23
      • 1970-01-01
      • 2020-11-11
      相关资源
      最近更新 更多