从 Spark 应用程序访问 CFS

【问题标题】：Access CFS from a Spark application从 Spark 应用程序访问 CFS
【发布时间】：2015-10-18 02:52:04
【问题描述】：

我正在尝试读取和写入我的本地 cfs 安装，这是通过在本地以独立模式安装 DSE 来完成的。

我的猜测是，为了连接到 cfs，我必须以某种方式使用 right 主机名，而 right 是指 Spark master 使用的主机名（为了创建 spark 上下文）当我做./dse spark。

应该相当容易，但我不知道如何...有什么想法吗？

【问题讨论】：

【解决方案1】：

您应该能够使用相对路径访问您的 cfs，就像在 hadoop 环境中一样。 sc.textFile("/你的路径")

编辑

好的，所以您可能还需要指定驱动程序主机以启用与主机的通信。

val conf = new SparkConf()
    .set("spark.driver.host", "driver ip")
    .setMaster("master host name")

val sc = new SparkContext(conf)

【讨论】：

不。我不是在问如何访问它，例如REPL 模式。但实际上，我在问如何设置 spark 上下文 - 作为我尝试构建的外部 spark/scala 应用程序的一部分 - 以便访问该（相同）资源......
好酷。 “驱动程序ip”和“主主机名”都是“127.0.0.1”吗？我应该在前面使用“http://”吗？我也应该以某种方式引用端口吗？
对于驱动只需要指定ip即可。相反，你需要有一个类似 spark://masterHostName:7077 的模式。