运行 nodetool decommission 后丢失数据

Question

我有一个 3 节点集群，其中有 1 个种子和不同区域的节点。全部在 GCE 中使用 GoogleCLoudSnitch 运行。

我想更改每个节点上的硬件，所以我开始在不同区域添加一个新种子，该种子完美地加入了集群。然后我从“nodetool decommission”开始，完成后我在节点关闭时删除了节点，“nodetool status”表明它不在集群中。我为所有节点执行此操作，最后我在不同区域的“额外”种子上执行此操作，只是为了将其删除以返回 3 节点集群。

我们丢失了数据！可能是什么问题？我看到了一个突击队，“nodetool rebuild”，我运行它并实际上得到了一些数据。 “nodetool cleanup”也没有帮助。我应该在“退役”之前运行“nodetool flush”吗？

在运行“退役”时，大多数键空间都有 ..

{'class' : 'NetworkTopologyStrategy', 'europe-west1' : 2}"

我是否应该首先更改关键空间以包含新的区域/数据中心，即“'europe-west3' : 1”，因为该数据中心中仅存在一个节点？我还注意到集群中的一些键空间错误..

{ 'class' : 'SimpleStrategy', 'replication_factor' : 1 }

这会导致数据丢失吗？似乎是在“SimpleStrategy keyspaces”中数据丢失了。

Answer 1

（免责声明：我是 ScyllaDB 员工）

您是否第一次添加新节点来替换您正在停用的节点并相应地配置密钥空间复制策略？ （你在描述中只提到了新的种子节点，你没有提到你是否为其他节点做了）。

您的数据丢失很可能是以下原因造成的：

• 不更改键空间以包含具有适当复制策略和复制因子的新区域/区域。
• 使用简单策略（无网络感知）复制策略和复制因子 1 配置的密钥空间。这意味着数据仅存储在 1 个节点中，一旦该节点关闭并停用，您基本上会丢失数据。

您是否有机会拍摄快照并将它们存储在您的集群之外？如果你这样做了，你可以尝试恢复它们。

我强烈建议您查看这些程序，以便更好地理解和执行您打算执行的程序的正确方法：

• http://docs.scylladb.com/procedures/add_dc_to_exist_dc/
• http://docs.scylladb.com/procedures/replace_running_node/