【发布时间】：2017-06-03 11:09:28
【问题描述】：
我们有这个 Cassandra 集群，想知道当前的性能是否正常以及我们可以做些什么来改进它。
集群由位于同一数据中心的 3 个节点组成，每个节点的总容量为 465GB 和 2GB 堆。每个节点有 8 个内核和 8GB 或 RAM。不同组件的版本为cqlsh 5.0.1 | Cassandra 2.1.11.872 | DSE 4.7.4 | CQL spec 3.2.1 | Native protocol v3
工作量描述如下：
- Keyspace 使用 org.apache.cassandra.locator.SimpleStrategy 放置策略和复制因子为 3（这对我们来说非常重要）
- 工作负载主要包括对单个表的写入操作。表架构如下：
CREATE TABLE aiceweb.records ( process_id timeuuid, partition_key int, collected_at timestamp, received_at timestamp, value text, PRIMARY KEY ((process_id, partition_key), collected_at, received_at) ) WITH CLUSTERING ORDER BY (collected_at DESC, received_at ASC) AND read_repair_chance = 0.0 AND dclocal_read_repair_chance = 0.1 AND gc_grace_seconds = 864000 AND bloom_filter_fp_chance = 0.01 AND caching = { 'keys' : 'ALL', 'rows_per_partition' : 'NONE' } AND comment = '' AND compaction = { 'class' : 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy' } AND compression = { 'sstable_compression' : 'org.apache.cassandra.io.compress.LZ4Compressor' } AND default_time_to_live = 0 AND speculative_retry = '99.0PERCENTILE' AND min_index_interval = 128 AND max_index_interval = 2048;
写入操作来自基于 NodeJS 的 API 服务器。使用Datastax提供的Nodejs驱动（最近版本从2.1.1更新到3.2.0）。负责执行写入请求的代码将按主键对写入操作进行分组，此外，它将请求大小限制为每个请求 500 个 INSERT。写操作作为 BATCH 执行。唯一明确设置的选项是prepare:true, logged:false。
OpsCenter 反映过去一年使用此设置的历史水平低于每秒一个请求（每个写入请求是针对同一表和同一分区的多达 500 次操作的 BATCH）。几乎全年 90% 的请求的写入请求延迟为 1.6 毫秒，但最近 90% 的请求已增加到超过 2.6 毫秒。操作系统负载一直低于 2.0，磁盘利用率大部分时间低于 5%，很少有 7% 的峰值。全年平均堆使用量为 1.3GB，峰值为 1.6GB，尽管目前该峰值在上个月正在上升。
此设置的问题在于 API 性能在整年都在下降。目前，BATCH 操作可能需要 300 毫秒到 12 秒以上（导致操作超时）。在某些情况下，即使 OpsCenter 报告所有节点都处于活动状态且健康，NodeJS 驱动程序也会报告所有 Cassandra 驱动程序。
Compaction Stats 在每个节点上始终显示 0，nodetool tpstats 显示如下：
Pool Name Active Pending Completed Blocked All time blocked
CounterMutationStage 0 0 10554 0 0
ReadStage 0 0 687567 0 0
RequestResponseStage 0 0 767898 0 0
MutationStage 0 0 393407 0 0
ReadRepairStage 0 0 411 0 0
GossipStage 0 0 1314414 0 0
CacheCleanupExecutor 0 0 48 0 0
MigrationStage 0 0 0 0 0
ValidationExecutor 0 0 126 0 0
Sampler 0 0 0 0 0
MemtableReclaimMemory 0 0 497 0 0
InternalResponseStage 0 0 126 0 0
AntiEntropyStage 0 0 630 0 0
MiscStage 0 0 0 0 0
CommitLogArchiver 0 0 0 0 0
MemtableFlushWriter 0 0 485 0 0
PendingRangeCalculator 0 0 4 0 0
MemtablePostFlush 0 0 7879 0 0
CompactionExecutor 0 0 263599 0 0
AntiEntropySessions 0 0 3 0 0
HintedHandoff 0 0 8 0 0
Message type Dropped
RANGE_SLICE 0
READ_REPAIR 0
PAGED_RANGE 0
BINARY 0
READ 0
MUTATION 0
_TRACE 0
REQUEST_RESPONSE 0
COUNTER_MUTATION 0
对此问题的任何帮助或建议将不胜感激。随时请求您分析它所需的任何其他信息。
最好的问候
【问题讨论】：
标签： node.js cassandra cassandra-2.1