【问题标题】:Not enough replicas available for query at consistency LOCAL_ONE (1 required but only 0 alive)没有足够的副本可用于一致性 LOCAL_ONE 的查询(需要 1 个但只有 0 个活着)
【发布时间】:2017-02-25 04:11:08
【问题描述】:

我正在运行 spark-cassandra-connector 并遇到一个奇怪的问题: 我将 spark-shell 运行为:

bin/spark-shell --packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.1

然后我运行以下命令:

import com.datastax.spark.connector._
val rdd = sc.cassandraTable("test_spark", "test")
println(rdd.first)
# CassandraRow{id: 2, name: john, age: 29}

问题是以下命令出错:

rdd.take(1).foreach(println)
# CassandraRow{id: 2, name: john, age: 29}
rdd.take(2).foreach(println)
# Caused by: com.datastax.driver.core.exceptions.UnavailableException: Not enough replicas available for query at consistency LOCAL_ONE (1 required but only 0 alive)
# at com.datastax.driver.core.exceptions.UnavailableException.copy(UnavailableException.java:128)
# at com.datastax.driver.core.Responses$Error.asException(Responses.java:114)
# at com.datastax.driver.core.RequestHandler$SpeculativeExecution.onSet(RequestHandler.java:467)
# at com.datastax.driver.core.Connection$Dispatcher.channelRead0(Connection.java:1012)
# at com.datastax.driver.core.Connection$Dispatcher.channelRead0(Connection.java:935)
# at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)

下面的命令只是挂起:

println(rdd.count)

我的 Cassandra 键空间似乎具有正确的复制因子:

describe test_spark;
CREATE KEYSPACE test_spark WITH replication = {'class': 'SimpleStrategy', 'replication_factor': '3'}  AND durable_writes = true;

如何解决以上两个错误?

【问题讨论】:

    标签: apache-spark cassandra spark-cassandra-connector


    【解决方案1】:

    我假设您在使用 LOCAL_ONE(spark 连接器默认值)一致性时遇到了 SimpleStrategy 和 multi-dc 的问题。它将在本地 DC 中寻找一个节点来发出请求,但有可能所有副本都存在于不同的 DC 中并且不会满足要求。 (CASSANDRA-12053)

    如果你change your consistency levelinput.consistency.levelONE)我认为它会得到解决。您还应该真正考虑使用网络拓扑策略。

    【讨论】:

      猜你喜欢
      • 2015-11-10
      • 2015-03-14
      • 2019-01-19
      • 2020-06-07
      • 2018-04-14
      • 1970-01-01
      • 2019-06-05
      • 2016-06-20
      • 2015-11-26
      相关资源
      最近更新 更多