如何提高 cassandra 的写入性能？答案

【问题标题】：How to increase the write performance in cassandra?如何提高 cassandra 的写入性能？
【发布时间】：2014-05-15 05:11:46
【问题描述】：

我有一个名为 Emails 的列族，我正在将邮件保存到这个 CF 中，写 5000 封邮件需要 100 多秒。

我使用的是 i3 处理器，8gb 内存。我的数据中心有 6 个节点，复制因子 = 2。

我们存储在 Cassandra 中的数据大小会影响性能吗？影响写入性能的所有因素有哪些？如何提高性能？

提前谢谢..

【问题讨论】：

从您的设置中，您应该首先调查客户端。大多数情况下，这些将是写入繁重操作期间的第一个限制因素。您那里的带宽和 io 速度是多少（与您的数据中心相比）？

标签： cassandra datastax-java-driver

【解决方案1】：

您询问的一些因素是：

客户端与集群之间以及集群中机器之间的连接速度和延迟（如@omnibear 所述）
您正在使用的复制因子 - 如果您一个接一个地插入电子邮件，复制因子可能会影响单个操作的延迟，从而导致总时间增加；我的意思是 - 你可以考虑批量写入操作。
您写过您使用 i3/8gb - 它是客户端还是服务器计算机的配置？服务器机器的配置，尤其是内存量和在它们上运行的其他进程显然可能会影响性能
提交日志和数据文件的位置 - 建议将提交日志放在与数据文件不同的物理磁盘上
压缩策略 - 我敢打赌，在你的情况下这并不重要，但总的来说它也会影响写入的性能； Cassandra首先将数据写入memtable和commit log，然后commit log被flush到sstables，最后sstables被合并（称为compaction）；可以调整此过程的参数以提高特定用例的性能；您可以阅读 C* here 中的写入路径
您还可以浏览有关性能的精彩 DataStax 文档说明：(http://www.datastax.com/documentation/cassandra/2.0/cassandra/dml/dml_throughput_c.html)、(http://www.datastax.com/documentation/cassandra/2.0/cassandra/architecture/architecturePlanningAntiPatterns_c.html) 和 (http://www.datastax.com/documentation/cassandra/2.0/cassandra/operations/ops_tune_jvm_c.html)

顺便说一句，也许您应该考虑将复制因子增加到 3，因为 rf=2 不会给您太多 - 如果您使用一致性级别 = quorum，并且一个节点发生故障，您将无法使用您的集群；如果你决定使用 rf=3 和 cl=quorum，你仍然需要读/写 2 个节点来达到强一致性，但另外，丢失一个节点不会导致集群不可用。

【讨论】：

【解决方案2】：

首先使用 cassandra http://www.datastax.com/products/datastax-enterprise-visual-admin 找出 Cassandra 花费的时间

你也可以使用

./nodetool cfstats

收集每个键空间和表内的统计信息。

在我看来，正如其他人指出的那样，您的作者很慢。

【讨论】：