【问题标题】:Spark & MapR DB ConnectionsSpark 和 MapR 数据库连接
【发布时间】:2018-09-12 06:27:50
【问题描述】:

我是 MapR 发行版的新手。我需要使用 Spark 和 Scala 在 MapR DB 上进行读写操作。但我没有找到执行这些操作的确切 jar。

但是在

https://mapr.com/docs/home/Spark/WorkingwithComplexJSONDocTypes.html 

他们提到

import com.mapr.db.spark._

val userprofilesRDD = sc.loadFromMapRDB("/tmp/user_profiles")

从 MapRDB 加载数据。

但我的问题是这个包(com.mapr.db.spark._)在哪里可用。要下载这个包,我没有找到正确的源(也在 maven 存储库中)。

请指导我正确的方法来完成这些任务。我知道这些都是基本操作。因为我是新手,所以找不到这样做。

版本详情:

MapR : 6.0.1-mapr

火花:2.2.1

斯卡拉:2.11.8

分级:3.5

请说明我需要使用哪个工件 ID 来执行这些操作。

提前致谢。

【问题讨论】:

    标签: scala apache-spark mapr


    【解决方案1】:

    这些类位于 MapR 扩展包 (MEP) 版本的 mapr-spark-.rpm 中,适用于您正在运行的任何版本。您提到的类在该 RPM 的 maprdb-spark-.jar 中。安装 mapr-spark RPM 后,您会在 /opt/mapr/spark/spark-/jars 目录中找到该 jar。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2010-10-01
      相关资源
      最近更新 更多