卡桑德拉异常

Question

对于我当前的项目，我使用 Cassandra Db 频繁地获取数据。每秒至少会有 30 个 Db 请求命中。对于每个请求，至少需要从 Db 获取 40000 行。以下是我当前的代码，此方法将返回 Hash Map。

 public Map<String,String> loadObject(ArrayList<Integer> tradigAccountList){

        com.datastax.driver.core.Session session;
        Map<String,String> orderListMap = new HashMap<>();
        List<ResultSetFuture> futures = new ArrayList<>();
        List<ListenableFuture<ResultSet>> Future;

        try {
            session =jdbcUtils.getCassandraSession();
            PreparedStatement statement = jdbcUtils.getCassandraPS(CassandraPS.LOAD_ORDER_LIST);

            for (Integer tradingAccount:tradigAccountList){
                futures.add(session.executeAsync(statement.bind(tradingAccount).setFetchSize(3000)));
            }
            Future = Futures.inCompletionOrder(futures);

            for (ListenableFuture<ResultSet> future : Future){
                for (Row row: future.get()){
                    orderListMap.put(row.getString("cliordid"), row.getString("ordermsg"));
                }
            }

        }catch (Exception e){
        }finally {
        }
        return orderListMap;
    }

我的数据请求查询是这样的， “从 omsks_v1.ordersStringV1 WHERE tradacntid = 中选择 cliordid,ordermsg”。 我的 Cassandra 集群有 2 个节点，每个节点有 32 个并发读写线程，我的 Db 架构如下

CREATE TABLE omsks_v1.ordersstringv1_copy1 (
    tradacntid int,
    cliordid text,
    ordermsg text,
    PRIMARY KEY (tradacntid, cliordid)
) WITH bloom_filter_fp_chance = 0.01
AND comment = ''
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99.0PERCENTILE'
AND caching = {
    'keys' : 'ALL',
    'rows_per_partition' : 'NONE'
}
AND compression = {
    'sstable_compression' : 'LZ4Compressor'
}
AND compaction = {
    'class' : 'SizeTieredCompactionStrategy'
};

我的问题是 Cassandra 超时异常，如何优化我的代码来处理所有这些请求

Answer 1

最好附上那个异常的片段（读/写异常）。我假设您正在阅读超时。您正在尝试在单个请求上获取大型数据集。

对于每个请求，至少需要从 Db 获取 40000 行

如果你的记录很大并且结果集太大，如果在 Cassandra.yaml 中提到的时间限制内无法返回结果，则会引发异常。

read_request_timeout_in_ms

您可以增加超时时间，但这不是一个好的选择。它可能会解决问题（可能不会抛出异常但需要更多时间才能返回结果）。

解决方案：对于大数据集，您可以使用带限制的手动分页（范围查询）获得结果。

SELECT cliordid,ordermsg FROM omsks_v1.ordersStringV1 在哪里 tradacntid > = ？和 cliordid > ?限制？；

或者使用范围查询

SELECT cliordid,ordermsg FROM omsks_v1.ordersStringV1 WHERE tradacntid = ?和 cliordid >= ?和 cliordid

这将比获取整个结果集快得多。

您也可以尝试减小提取大小。虽然它会返回整个结果集。

public Statement setFetchSize(int fetchSize) 检查是否抛出异常。

setFetchSize 控制页面大小，但不控制 ResultSet 中返回的最大行数。

还有一点需要注意：

tradigAccountList 的大小是多少？

一次请求过多也可能导致超时。 tradigAccountList 的大小和一次完成大量读取请求（请求的负载平衡由 Cassandra 处理，可以处理多少请求取决于集群大小和其他一些因素）可能会导致此异常。

一些相关链接：

Cassandra read timeout

NoHostAvailableException With Cassandra & DataStax Java Driver If Large ResultSet

Cassandra .setFetchSize() on statement is not honoured