如何使用 Java API 将文本文件、图像存储到 Apache Spark 中？

Question

我是 Apache Spark 的新手。我正在使用 Windows 操作系统，并且 spark 安装在远程的 Linux 操作系统中。是否可以使用 Java API 在 Spark 配置中添加 IP 地址和端口？请分享 spark java 示例。

提前致谢。

Answer 1

如果您只是想玩转 spark，我建议您从您的应用程序中启动一个本地 spark。这是一个 java 示例（旧的 1.6 语法）：

public static void trySparkTestClass() throws IOException {
    SparkConf conf = new SparkConf()
            .setMaster("local[*]")
            .setAppName("TestSparkSample");

    JavaSparkContext jsc = new JavaSparkContext(conf);
    HiveContext sqlContext = new HiveContext(jsc);
    DataFrame myJson = sqlContext.read().json("myJson");
    jsc.stop();
}