【发布时间】:2016-12-28 05:33:16
【问题描述】:
我已经从 spark 中提取了 2 亿条 cassandra 记录。使用 spark-cassandra 连接器。
我遇到了以下两个问题。抱歉,主题只涉及一个问题。
1) com.datastax.driver.core.exceptions.WriteFailureException:Cassandra 在一致性写入查询期间失败LOCAL_QUORUM(需要 1 个响应,但只有 0 个副本响应,1 个失败)
我发现,具有更高的复制因子最好是 3 可以解决问题。我仍然面临同样的问题。
我需要重启集群吗?
第二个&重要的)我运行 spark 工作在我的桌子上做count(*)。 Spark 作业没有任何错误。然而,每次我的工作都会给我不同的分数。
我强烈认为 cassandra 非常稳定和可靠。也许我可能会在这里遗漏一些重要的部分。
My actual number of rows: 286,530,307
My first run result: 285,508,150
2nd Run: 285,174,293
3rd Run: 285,232,533
为什么我在不同的运行中得到不同的结果。?
我的密钥空间创建:
CREATE KEYSPACE IF NOT EXISTS db_research WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };
我的表有 28 列并使用了
我的任何错误是否触发了此类结果。?即使有错误,它每次都应该显示相同的计数。我错过了什么。?
【问题讨论】:
标签: cassandra spark-cassandra-connector