无法解析主 URL：'spark:http://localhost:18080'答案

【问题标题】：Could not parse Master URL: 'spark:http://localhost:18080'无法解析主 URL：'spark:http://localhost:18080'
【发布时间】：2015-01-30 18:21:36
【问题描述】：

当我尝试运行我的代码时，它会抛出 Exception:

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL:spark:http://localhost:18080

这是我的代码：

SparkConf conf = new SparkConf().setAppName("App_Name").setMaster("spark:http://localhost:18080").set("spark.ui.port","18080");
JavaStreamingContext ssc = new JavaStreamingContext(sc, new Duration(1000));
String[] filet=new String[]{"Obama","ISI"};

JavaReceiverInputDStream<Status> reciverStream=TwitterUtils.createStream(ssc,filet);
JavaDStream<String> statuses = reciverStream.map(new Function<Status, String>() {
     public String call(Status status) { return status.getText(); }
     }
      );
ssc.start();
ssc.awaitTermination();}}

知道如何解决这个问题吗？

【问题讨论】：

标签： java twitter spark-streaming

【解决方案1】：

问题是您在传递给SparkConf.setMaster() 的 URL 中指定了 2 个架构。

spark 是架构，因此您无需在spark 之后添加http。有关更多示例，请参阅SparkConf.setMaster() 的 javadoc。

所以您应该使用的主 URL 是 "spark://localhost:18080"。更改此行：

SparkConf conf = new SparkConf().setAppName("App_Name")
    .setMaster("spark://localhost:18080").set("spark.ui.port","18080");

【讨论】：

感谢您的响应，当我更改它并再次运行它时，他抛出另一个异常：无法连接到 akka.tcp://sparkMaster@localhost:18080：akka.remote.EndpointAssociationException：关联失败[akka.tcp://sparkMaster@localhost:18080]
@Anas 这很可能是因为您尚未启动服务器，或者它位于与您指定的端口不同的端口 (18080)。
感谢您的帮助，当我在代码中稍作更改时，我使用了端口 8080 String host="LocalHost"; SparkConf conf = new SparkConf().setAppName("App_Name") .setMaster("local[4]").set("spark.driver.host",host).set("spark.driver.port","8080 "); 他给了我这个信息：(INFO twitter4j.TwitterStreamImpl: Connection created) 但我还是看不到推文！！
这对我有用：SparkConf conf = new SparkConf().setAppName("App_Name") .setMaster("spark://192.168.30.154:7077").set("spark.ui.端口","7077");

【解决方案2】：

master 的标准端口是 7077 而不是 18080。也许你可以试试 7077。

【讨论】：