TITAN-并行查询-org.apache.tinkerpop.gremlin.driver.Client.submit 的并发超时异常

Question

作为容量和性能测试的一部分，我正在尝试使用 java 线程并行执行多个 gremlin 请求（图遍历）。它可以在较少的线程数下正常工作。

当我增加线程数（比如 500）时，我收到以下错误

线程“Thread-34”java.lang.RuntimeException 中的异常： java.lang.RuntimeException：java.util.concurrent.TimeoutException： 等待可用主机超时。 在 org.apache.tinkerpop.gremlin.driver.Client.submit(Client.java:146) 在 com.tests.java.titan.Vertices.exists(Vertices.java:37) 在 com.tests.java.titan.Complex.searchNodesRelatedByRelation(Complex.java:110) 在 com.tests.java.perfTests.TitanThread.run(ParallelGraphTraversal.java:112) 引起：java.lang.RuntimeException： java.util.concurrent.TimeoutException：超时等待 可用的主机。 在 org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:194) 在 org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:174) 在 org.apache.tinkerpop.gremlin.driver.Client.submit(Client.java:144) ... 3 更多

我尝试将 threadPoolWorker 的值从 1 增加到 2，将 gremlinPool 从 8 增加到 16（在文件 gremlin-server.yaml 中）。但我没有发现任何区别。

有人遇到过这个问题吗？您能否告诉我可能的最大同时连接数是否有限制？

我们的环境：CDH 5.7.1、Titan 1.1.0-SNAPSHOT、Solr 4.10.3、HBase 1.2.0，titan-tp3-driver 创建到 gremlin 服务器的远程连接并用于查询

Answer 1

服务器上的gremlinPool 设置往往被限制为Runtime.availableProcessors()，因此将数字设置得更大通常没有意义。服务器将支持的请求数量在某种程度上取决于您执行的遍历类型。我可以想象这样的情况，您发送一系列运行时间较长的请求，这些请求可能会占用大量gremlinPool 线程，从而降低服务器本身的脚本处理能力。 Gremlin 服务器可能会继续接受请求，将它们存储在队列中以便在它们到达时进行处理，但它们将需要更长的时间来处理。

这种情况本身不应导致此错误，但驱动程序的默认设置可能不足以满足您的要求。驱动程序有一个load of settings，它控制到服务器的消息流。如果特定主机的驱动程序状态超出这些设置的边界，它将忽略该主机并寻找另一个主机。例如，如果超过了connectionPool.maxInProcessPerConnection，并且由于也已达到最大值而无法添加额外的连接，那么在驱动程序选择下一个要发送消息的主机的过程中，该主机将被忽略。这样，特定主机就不会因客户端的请求而过载。

在您的情况下，我假设您的配置中没有其他主机，因此没有其他地方可以发送这些请求，驱动程序会尝试等待连接以释放自身。如果我们考虑我们的示例，那么它会等待处理中的请求数低于connectionPool.maxInProcessPerConnection。司机要等多久？它将等待connectionPool.maxWaitForConnection。如果超过该时间，那么您将收到您所看到的错误消息。