无法使用最新的 datastax python 驱动程序扩展 cassandra

Question

我们正在使用多个 cassandra datastax 集群实例 (6) 使用 python 连接到 cassandra。我们正在汇集这些多个连接来做一些操作。每个操作都独立于其他操作。

它在少量操作上运行良好，但是一旦我尝试扩大规模，我就会收到以下错误：

NoHostAvailable: ('Unable to complete the operation against any hosts', {<Host: 127.ption('Pool is shutdown',)})

有时还会出现以下警告：

WARNING  Heartbeat failed for connection (140414695068880) to 127.0.0.1

我尝试更改一些集群对象参数，但没有帮助。

以下是我正在使用的 cassandra 中键空间的配置：

'class': 'SimpleStrategy', “复制因子”：“1”

我正在为 python 使用最新版本的 cassandra 和 datastax 驱动程序。只有一个节点是cassandra。

编辑：更多细节：

多个集群实例位于不同的进程中（进程是使用 Python 多处理模块创建的） - 每个进程一个集群实例。让我们将这些过程称为 Cassandra-Processes (CP)。还有很多其他进程会进行一些计算，并且需要偶尔查找 Cassandra DB 并对其进行写入。目前的设计是这些进程中的每一个都映射到一个CP上，所有进程要完成的DB读/写都是通过这个映射的CP来完成的。将要读取/写入的“内容”被传递到映射的 CP 读取的队列（再次来自多处理库）中。

我们观察到这个设置运行了很长一段时间 - 然后突然 Cassandra 开始出错。

Answer 1

如果不了解您的特定拓扑、设置和系统配置，就很难进行远程诊断。然而，这看起来很像配置问题，甚至是 python 驱动程序。如果你用谷歌搜索你的错误信息，你会在 Datastax 的 Jira 上找到多个描述这个或类似问题的主题，我会检查 Python 驱动程序是否是最新的。 首先有什么帮助是详细了解您尝试做什么，您的集群是如何配置的。

Answer 2

目前尚不清楚为什么要针对单个 Cassandra 节点使用六个集群实例。通常，您应该为每个应用程序（每个远程集群）使用一个集群实例。您可以阅读有关 Cassandra 驱动程序的一般设计注意事项here

如果您希望在吞吐量方面“扩展”，您可以考虑使用多处理。我在博文here 中讨论了这个问题。

---

后续：

从我们目前掌握的信息中可以推断出两件事：

1. 应用程序推送的并发请求数超过了您的连接池配置处理的数量。我这样说是因为“池已关闭”仅在请求等待连接/流可用时发生。您可以使用cluster settings 调整连接池以使更多可用。但是，如果您的“集群”（服务器节点）不堪重负，您将不会获得太多收益。
2. 您的连接正在关闭。此异常仅在节点突然标记为 down 时发生。在单节点设置中，这很可能是因为连接错误。在服务器日志或驱动程序调试日志中寻找线索（如果您正在捕获）。

我们可能需要更多地了解您的执行模型才能提供更多帮助。您是否可以运行不受限制的异步请求而不偶尔等待它们完成？