【问题标题】:Using Python Cassandra driver for multiple connections errors out使用 Python Cassandra 驱动程序进行多个连接错误
【发布时间】:2015-09-26 14:44:14
【问题描述】:

我正在使用 Datastax 提供的 Python Cassandra 驱动程序连接到单节点 Cassandra 实例。我的 Python 代码生成了多个进程(使用 multiprocessing 模块),每个进程都会打开到该节点的连接,并在退出时将其关闭。

这是我观察到的行为:当生成的进程数较少(比如 ~ 30)时,我的代码运行完美。但如果数量更多,我会看到这样的错误(可能并不奇怪):

File "/usr/local/lib/python2.7/dist-packages/cassandra/cluster.py", line 755, in connect
self.control_connection.connect()
File "/usr/local/lib/python2.7/dist-packages/cassandra/cluster.py", line 1868, in connect
self._set_new_connection(self._reconnect_internal())
File "/usr/local/lib/python2.7/dist-packages/cassandra/cluster.py", line 1903, in _reconnect_internal

raise NoHostAvailable("Unable to connect to any servers", errors)
NoHostAvailable: ('Unable to connect to any servers', {'127.0.0.1': error(99, "Tried connecting to [('127.0.0.1', 9042)]. Last error: Cannot assign requested address")})

显然,主机无法接受新连接。这看起来应该由驱动程序或 Cassandra 处理 - 通过让新的连接请求排队并在它释放时授予它们。

我如何强加这种行为?

【问题讨论】:

    标签: python-2.7 cassandra-2.0 datastax


    【解决方案1】:

    “无法分配请求的地址”可能表示您的本地端口已用完。这不取决于驱动程序——这是一个系统配置问题。 Here is a good article about the problem(它指的是 MySQL,但问题是一样的)。请注意,处于 TIME_WAIT 状态的连接会占用本地端口,并且可以在单个程序运行之后逗留。

    本文讨论了多种解决方案,包括扩展端口范围、侦听多个 IP 地址或更改应用程序连接行为。我会考虑应用程序的行为,并建议运行更少的进程。根据您尝试通过多处理来克服的问题,您可能最好使用 (process count) multiprocessing.Pool 的默认行为)。

    【讨论】:

    • 谢谢@Adam!这篇文章真的很有帮助!我现在正在尝试合并进程。
    猜你喜欢
    • 2017-08-07
    • 2016-12-22
    • 2015-03-26
    • 2022-01-01
    • 2015-08-16
    • 2016-02-18
    • 2015-08-16
    • 2017-06-23
    • 2013-12-23
    相关资源
    最近更新 更多