MaxConnectionsPerHost 与 MaxRequestsPerConnection Cassandra 驱动程序

Question

我正在为 C* 处理大量查询集。我已经用

限制了异步查询执行器

Semaphore maxInFlight = new Semaphore(MAX_REQUEST_PER_CON_REMOTE);
...
maxInFlight.acquireUninterruptibly();
ResultSetFuture future = executeAsync(...);
Futures.addCallback(future, new FutureCallback<ResultSet>() {
     @Override
     public void onSuccess(ResultSet rs) {
     ...
     maxInFlight.release();
     }

     @Override
     public void onFailure(Throwable t) {
     ...
     maxInFlight.release();
     }, executor);

其中 MAX_REQUEST_PER_CON_REMOTE 是 MaxRequestsPerConnection 参数。 MaxConnectionsPerHos 默认等于 1，我没有更改。

我相信，随着节点数量的增加或复制因子的增加，我可以增加 MaxConnectionsPerHos 或 MaxRequestsPerConnection 以提高生产力。 增加一个或另一个有什么好处吗？

然后我想更改信号量许可的依赖关系，但实际上不知道如何。这个想法是在添加或删除 Host 时添加侦听器并更新 maxInFlight。

Answer 1

如果您不使用白名单或黑名单策略，则驱动程序将分别连接到每个主机（当然取决于配置，如果您使用的是 DC Aware 策略）。因此，当您添加新节点时，驱动程序将添加到该节点的新连接，并且负载将被重新分配（如果您的查询没有“热”分区）。如果你增加复制因子，那么它也没有多大关系，因为向副本发送请求将不是由驱动程序完成，而是由“协调器”节点完成......

因此，当您在本地 DC 中有 N 个节点时，理论上您可以发送最多 N * MaxInFlighConnections 个请求（但这取决于您的请求中数据的分布情况）。

另外，我看到您正在使用MAX_REQUEST_PER_CON_REMOTE - 最好只向本地 DC 的节点发送请求。您还可以为每个连接配置多达 32k 个请求，在大多数情况下，这对于一个执行请求的客户端来说绰绰有余。

您可以在Driver's documentation找到更多信息。

附：我有一个separate class，它使用与 Semaphore 相同的方法，但会自动添加侦听器 - 随意抓住它。