【问题标题】:Unable to add remote source with Vora 1.4 and Spark controller 2.0无法使用 Vora 1.4 和 Spark 控制器 2.0 添加远程源
【发布时间】:2017-06-02 18:11:59
【问题描述】:

我一直在尝试通过 Spark 控制器 2.0 将 Vora 1.4 连接到 HANA 1.0 SPS12。可以将远程源添加到 HANA 工作室,但 Vora 表是不可见的。尝试刷新远程源时,Spark 控制器错误日志中出现类未找到错误。以下是错误信息:

*

17/05/23 10:11:46 错误 HanaSQLContext: 无法设置扩展存储 java.lang.ClassNotFoundException: 在 java.lang.Class.forName0(Native 方法)在 java.lang.Class.forName(Class.java:264) 在 org.apache.spark.sql.hana.hdfs.store.HDFSStore$$anonfun$apply$2.apply(HDFSSt>ore.scala:212) 在 org.apache.spark.sql.hana.hdfs.store.HDFSStore$$anonfun$apply$2.apply(HDFSSt>ore.scala:187) 在 scala.Option.getOrElse(Option.scala:120) 在 org.apache.spark.sql.hana.hdfs.store.HDFSStore$.apply(HDFSStore.scala:186) 在 org.apache.spark.sql.hana.HanaSQLContext.getExtendedStore(HanaSQLContext.sca>la:104) 在 com.sap.hana.spark.core.session.Session.(SessionManager.scala:191) 在 com.sap.hana.spark.core.session.Session.(SessionManager.scala:166) 在 com.sap.hana.spark.core.session.Session$.apply(SessionManager.scala:136) 在 com.sap.hana.spark.core.session.SessionManager$.startNewSession(SessionManager>er.scala:72) 在 com.sap.hana.spark.network.CommandHandler$$anonfun$receive$3.applyOrElse(Com>mandRouter.scala:549) 在 akka.actor.Actor$class.aroundReceive(Actor.scala:467) 在 com.sap.hana.spark.network.CommandHandler.aroundReceive(CommandRouter.scala:>432) 在 akka.actor.ActorCell.receiveMessage(ActorCell.scala:516) 在 akka.actor.ActorCell.invoke(ActorCell.scala:487) 在 akka.dispatch.Mailbox.processMailbox(Mailbox.scala:238) 在 akka.dispatch.Mailbox.run(Mailbox.scala:220) 在 akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDis>patcher.scala:397) 在 scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260) 在 scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1>339) 在 scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979) 在 scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java>:107)

*

有人知道吗?

谢谢!

【问题讨论】:

  • 弗兰克:谢谢你的建议。 Voraodbc 当然是 Hana/Hadoop 连接的一种方式。问题是 voraodbc 仅适用于 HANA SPS12 修订版 205 及更高版本。我确实检查了所有适配器,没有 voraodbc,因为我的版本是 121 版。我也喜欢设置 DLM,并认为 Spark 控制器更适合此目的。艾伦
  • 能否提供更多细节? Vora、Spark 控制器、Spark、Hadoop 发行版的确切版本。此外,完整的 Spark 控制器日志文件(从上次启动到失败)和 Spark 控制器配置文件(hana_hadoop-env.sh、hanaes-site.xml)会有所帮助。如果您可以访问 SAP 工单系统,您也可以在组件 HAN-VO 中打开工单。
  • @FrankLegler:Vora 版本是 1.4 补丁 0,Spark 控制器 2.0SP00P1,来自 Hortonworks 2.5.3 版本的 Spark 1.6.2。 Spark 控制器是手动安装的。还尝试了 Spark 控制器的 Ambari 部署。安装 Ambari 后,控制器日志不会出现“找不到类错误”,但结果是一样的 - Vora 表不可见。这是手动安装的日志文件。刷新 Hana Studio 中的远程源时会出现错误。
  • @FrankLegler 这是 hana_hadoop-env.sh

标签: vora


【解决方案1】:

我建议使用新的 VoraODBC 连接(也称为 SAP HANA Wire 连接)将 HANA 连接到 Vora 1.4。这样可以轻松访问新的关系引擎和磁盘引擎中的表,而无需额外安装任何东西。

请参阅 Vora 1.4 开发人员指南章节“7.9 从 SAP HANA 访问 SAP Vora”(请参阅​​ https://help.sap.com/viewer/p/SAP_VORA)。

【讨论】:

    【解决方案2】:

    为了解决问题,我卸载了 Spark 控制器 2.0 并安装了 Spark 控制器 1.6。 Spark 控制器错误日志中没有更多错误消息。但问题仍然存在,Vora 表在 HANA 工作室的远程源中是不可见的。 HANA 端的索引服务器日志也没有错误。似乎 Vora 1.4 与 Spark 控制器存在严重问题,因为 1.4 不在任何版本的 Spark 控制器兼容性矩阵中。我希望有人已经找到了解决此问题的方法。

    Spark 控制器 1.6 日志:

    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/hdp/2.5.3.0-37/spark/lib/spark-assembly-1.6.2.2.5.3.0-37-hadoop2.7.3.2.5.3.0-37.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/hdp/2.5.3.0-37/hadoop/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
     INFO [main] (HanaESConfig.scala:67) - Loaded HANA Extended Store Configuration
    Found Spark Libraries. Proceeding with Current Class Path
    17/06/07 13:20:48 INFO Server: Starting Spark Controller
    17/06/07 13:21:01 INFO CommandRouterDefault: Connecting to Vora Engine
    17/06/07 13:21:01 INFO CommandRouterDefault: Initialized Router!
    17/06/07 13:21:01 INFO CommandRouterDefault: Server started
    17/06/07 13:21:28 INFO VoraClientFactory: returning a Vora catalog client of this Vora catalog server: bdesxi14.localdomain:20298
    17/06/07 13:21:28 INFO CatalogFactory: returning a Vora catalog client of this Vora catalog server: bdesxi14.localdomain:20298
    17/06/07 13:21:28 INFO CBinder: searching for compat-sap-c++.so at /opt/rh/SAP/lib64/compat-sap-c++.so
    17/06/07 13:21:28 INFO CBinder: loading compat package from /opt/rh/SAP/lib64/compat-sap-c++.so
    17/06/07 13:21:28 INFO CBinder: searching for libpam.so.0 at /lib64/libpam.so.0
    17/06/07 13:21:28 INFO CBinder: loading libpam.so.0 from /lib64/libpam.so.0
    17/06/07 13:21:28 INFO CBinder: loading library libprotobuf.so
    17/06/07 13:21:28 INFO CBinder: loading library libprotoc.so
    17/06/07 13:21:28 INFO CBinder: loading library libtbbmalloc.so
    17/06/07 13:21:28 INFO CBinder: loading library libtbb.so
    17/06/07 13:21:28 INFO CBinder: loading library libkrb5support.so
    17/06/07 13:21:28 INFO CBinder: loading library libk5crypto.so
    17/06/07 13:21:28 INFO CBinder: loading library libcom_err.so
    17/06/07 13:21:28 INFO CBinder: loading library libkrb5.so
    17/06/07 13:21:28 INFO CBinder: loading library libgsasl.so
    17/06/07 13:21:28 INFO CBinder: loading library libgssapi_krb5.so
    17/06/07 13:21:28 INFO CBinder: loading library libgssrpc.so
    17/06/07 13:21:28 INFO CBinder: loading library libv2runtime.so
    17/06/07 13:21:28 INFO CBinder: loading library libv2auth.so
    17/06/07 13:21:28 INFO CBinder: loading library libv2net.so
    17/06/07 13:21:28 INFO CBinder: loading library libv2catalog_connector.so
    

    【讨论】:

      猜你喜欢
      • 2017-12-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-03-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多