【问题标题】：Cloud Data Fusion - Existing Dataproc option missingCloud Data Fusion - 缺少现有的 Dataproc 选项
【发布时间】：2021-06-03 08:54:51
【问题描述】：

根据documentation，可以选择使用 6.2 及更高版本中的现有 Dataproc 集群。

我们使用 Cloud Data Fusion 6.2.0，但当我们尝试创建新的计算配置文件时，现有的 Dataproc 不会出现。

我们做错了什么？为什么所描述的选项不显示？我们需要做一些额外的配置吗？

更新 1

当我选择 Dataproc 时，我看到以下内容：

更新 2

当我们尝试使用 Remote Hadoop Provisioner 时，我们在 /logs/program.log 文件中收到以下错误消息。 SSH 连接成功，因为 run-id 文件夹在那里。


2021-06-15 09:40:37,617 - ERROR [main:o.a.z.s.NIOServerCnxnFactory@44] - Thread Thread[main,5,main] died
java.lang.reflect.InvocationTargetException: null
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_282]
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_282]
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_282]
        at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_282]
        at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteLauncher.main(RemoteLauncher.java:73) ~[launcher.jar:na]
Caused by: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) ~[hadoop-common-3.2.2.jar:na]
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338) ~[hadoop-common-3.2.2.jar:na]
        at io.cdap.cdap.common.conf.CConfigurationUtil.copyTxProperties(CConfigurationUtil.java:100) ~[na:na]
        at io.cdap.cdap.common.guice.ConfigModule.<init>(ConfigModule.java:62) ~[na:na]
        at io.cdap.cdap.common.guice.ConfigModule.<init>(ConfigModule.java:49) ~[na:na]
        at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionJobMain.initialize(RemoteExecutionJobMain.java:117) ~[na:na]
        at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionJobMain.doMain(RemoteExecutionJobMain.java:98) ~[na:na]
        at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionJobMain.main(RemoteExecutionJobMain.java:73) ~[na:na]
        ... 5 common frames omitted

【问题讨论】：

在 UI 中选择 Dataproc 时会发生什么？
@Dagang 我已经更新了问题。我可以看到基本的 Dataproc 设置。与现有 Dataproc 选项无关。

标签： hadoop google-cloud-platform google-cloud-dataproc google-cloud-data-fusion cdap

【解决方案1】：

对于 6.2.0 ，“Remote Hadoop Provisioner”是用于现有 dataproc 集群的正确选项。您遇到的卡住问题是由 API 激活未能将必要角色分配给 Dataproc 特定服务帐户的罕见情况引起的。只需在您的项目中授予以下服务帐户“Dataproc 服务代理”角色即可解决此问题：

service-${项目编号}@dataproc-accounts.iam.gserviceaccount.com

【讨论】：

角色被授予，问题依旧。我已经编辑了帖子，请查看我们收到的确切错误消息。

【解决方案2】：

我无法准确重现该场景，因为从头开始创建 CDF 实例时，我能够选择 Cloud Data Fusion 6.2.3 作为类似的更接近的版本。

我可以确认，在 6.2.3 版本中，您可以选择现有的 Dataproc 集群。因此，我建议您至少升级到该版本。按照这个docs 以安全的方式进行操作。

作为替代方案，有一种方法可以配置 Cloud Data Fusion 管道以针对现有集群 here 运行。此功能仅适用于 Cloud Data Fusion 企业版。

【讨论】：

您可以使用 REST API 在 6.2.0 版本上创建 CDF。我已经部署了一个版本为 6.2.1 的 CDF 实例，并且出现了 Existing Dataproc Cluster 选项。我们使用企业版，但我们无法将现有 CDF 实例从 6.2.0 升级到任何版本。当我们尝试在处于启动状态的 CDF 6.2.0 管道上使用 Remote Hadoop Provisioner 选项时。 CDF 可以 ssh 进入集群，但在文件夹 /logs/program.log 我们看到 ERROR [main:o.a.z.s.NIOServerCnxnFactory@44] - Thread Thread[main,5,main] dead java.lang.reflect.InvocationTargetException: null