Spark Streaming 收到警告“仅复制到 0 个对等点而不是 1 个对等点”

Question

我使用 spark 流来接收来自 twitter 的 twitts。 我收到很多警告说：

replicated to only 0 peer(s) instead of 1 peers

这个警告是为了什么？

我的代码是：

    SparkConf conf = new SparkConf().setAppName("Test");
    JavaStreamingContext sc = new JavaStreamingContext(conf, Durations.seconds(5));
    sc.checkpoint("/home/arman/Desktop/checkpoint");

    ConfigurationBuilder cb = new ConfigurationBuilder();
    cb.setOAuthConsumerKey("****************")
        .setOAuthConsumerSecret("**************")
        .setOAuthAccessToken("*********************")
        .setOAuthAccessTokenSecret("***************");


    JavaReceiverInputDStream<twitter4j.Status> statuses = TwitterUtils.createStream(sc, 
            AuthorizationFactory.getInstance(cb.build()));

    JavaPairDStream<String, Long> hashtags = statuses.flatMapToPair(new GetHashtags());
    JavaPairDStream<String, Long> hashtagsCount = hashtags.updateStateByKey(new UpdateReduce());
    hashtagsCount.foreachRDD(new saveText(args[0], true));

    sc.start();
    sc.awaitTerminationOrTimeout(Long.parseLong(args[1]));
    sc.stop();

Answer 1

当使用 Spark Streaming 读取数据时，由于容错性，传入的数据块至少会复制到另一个节点/worker。否则，如果运行时从流中读取数据然后失败，则可能会丢失此特定数据（它已经从流中读取并擦除，并且由于失败而在工作端也丢失了）。

参考Spark documentation：

当 Spark Streaming 驱动程序运行时，系统收到 来自各种来源的数据，并将其分成批次。每批 的数据被视为 RDD，即不可变的并行 数据的收集。这些输入 RDD 保存在内存中，并且 复制到两个节点以实现容错。

您的情况下的警告意味着根本不会复制来自流的传入数据。原因可能是您仅使用一个 Spark 工作器实例运行应用程序或在本地模式下运行。尝试启动更多 Spark 工作人员，看看警告是否消失。