【问题标题】:Cassandra showing different results in different runsCassandra 在不同的运行中显示不同的结果
【发布时间】:2016-12-28 05:33:16
【问题描述】:

我已经从 spark 中提取了 2 亿条 cassandra 记录。使用 spark-cassandra 连接器。

我遇到了以下两个问题。抱歉,主题只涉及一个问题。

1) com.datastax.driver.core.exceptions.WriteFailureException:Cassandra 在一致性写入查询期间失败LOCAL_QUORUM(需要 1 个响应,但只有 0 个副本响应,1 个失败)

我发现,具有更高的复制因子最好是 3 可以解决问题。我仍然面临同样的问题。

我需要重启集群吗?

第二个&重要的)我运行 spark 工作在我的桌子上做count(*)。 Spark 作业没有任何错误。然而,每次我的工作都会给我不同的分数。 我强烈认为 cassandra 非常稳定和可靠。也许我可能会在这里遗漏一些重要的部分。

My actual number of rows: 286,530,307 
My first run result: 285,508,150
2nd Run: 285,174,293
3rd Run: 285,232,533

为什么我在不同的运行中得到不同的结果。?

我的密钥空间创建:

CREATE KEYSPACE IF NOT EXISTS db_research WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };

我的表有 28 列并使用了

我的任何错误是否触发了此类结果。?即使有错误,它每次都应该显示相同的计数。我错过了什么。?

【问题讨论】:

    标签: cassandra spark-cassandra-connector


    【解决方案1】:

    尝试运行nodetool repair - 这将在您的集群中同步副本:https://docs.datastax.com/en/cassandra/2.0/cassandra/operations/ops_repair_nodes_c.html

    【讨论】:

    • 嗨,当我使用 nodetool 修复时,它需要很长时间才能完成。我截断了表,然后进行了 nodetool 修复。由于没有数据,所以提前完成了,但是当我再次摄取数据时,它的命运是一样的。
    • 我也面临同样的问题,你能告诉我压缩是否有帮助吗?我现在不想丢失数据。
    猜你喜欢
    • 1970-01-01
    • 2021-08-12
    • 2020-12-16
    • 1970-01-01
    • 2018-06-19
    • 1970-01-01
    • 2020-11-09
    • 1970-01-01
    • 2017-12-30
    相关资源
    最近更新 更多