spark worker 内存不足答案

【问题标题】：spark worker insufficient memoryspark worker 内存不足
【发布时间】：2015-08-06 18:38:07
【问题描述】：

我有一个 spark/cassandra 设置，我使用 spark cassandra java 连接器查询表。到目前为止，我有 1 个 spark 主节点（2 个核心）和 1 个工作节点（4 个核心）。他们两个在conf/下都有以下spark-env.sh：

#!/usr/bin/env bash
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP="192.168.4.134"
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=2G

这是我的火花执行代码：

    SparkConf conf = new SparkConf();
    conf.setAppName("Testing");
    conf.setMaster("spark://192.168.4.134:7077");
    conf.set("spark.cassandra.connection.host", "192.168.4.129");
    conf.set("spark.logConf", "true");
    conf.set("spark.driver.maxResultSize", "50m");
    conf.set("spark.executor.memory", "200m");
    conf.set("spark.eventLog.enabled", "true");
    conf.set("spark.eventLog.dir", "/tmp/");
    conf.set("spark.executor.extraClassPath", "/home/enlighted/ebd.jar");
    conf.set("spark.cores.max", "1");
    JavaSparkContext sc = new JavaSparkContext(conf);


    JavaRDD<String> cassandraRowsRDD = CassandraJavaUtil.javaFunctions(sc).cassandraTable("testing", "ec")
    .map(new Function<CassandraRow, String>() {
        private static final long serialVersionUID = -6263533266898869895L;
        @Override
        public String call(CassandraRow cassandraRow) throws Exception {
            return cassandraRow.toString();
        }
    });
    System.out.println("Data as CassandraRows: \n" + StringUtils.join(cassandraRowsRDD.toArray(), "\n"));
    sc.close();

现在我在第一个节点上启动 master spark，然后在第二个节点上启动 worker，然后运行上面的代码。它在工作线程上创建一个执行线程，但我在应用程序端日志中看到以下消息：

[Timer-0] WARN org.apache.spark.scheduler.TaskSchedulerImpl  - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

现在保持相同的设置，当我在主服务器上运行 spark/sbin/start-all.sh 时，它会在第一个节点上创建主实例和工作实例。同样，当我运行相同的代码并且分配的工人是这个新工人时，它工作得非常好。

我的原始工作程序在与主节点不同的节点上运行可能会出现什么问题？

【问题讨论】：

您是否“检查您的集群 UI 以确保工作人员已注册并拥有足够的资源”？
它说 Worker 内存为 1024M（使用了 200m），Cores 为 4（使用了 1 个）。还有什么我应该检查的。
有趣。它说该资源已被使用，但您发现它未被接受。我没有想出解决方案。

标签： apache-spark spark-cassandra-connector

【解决方案1】：

找出根本原因。 Master 随机分配端口给 worker 进行通信。由于 master 上的防火墙，worker 无法向 master 发送消息（可能像资源详细信息）。奇怪的工人甚至懒得抛出任何错误。

【讨论】：