【问题标题】:increase upload efficiency for cassandra提高cassandra的上传效率
【发布时间】:2013-07-16 09:47:12
【问题描述】:

我正在使用附加的 EBS 卷中的 COPY 命令将数据从 .csv 文件上传到部署在 Amazon EC2 中的 Cassandra 集群。我注意到随着 .csv 文件大小的增加,Cassandra 上传时间增加得非常厉害。

有没有办法可以调整设置以提高 cassandra 的加载率..?

【问题讨论】:

    标签: amazon-web-services amazon-ec2 cassandra cql3 cqlsh


    【解决方案1】:

    使用real bulk loader。 COPY 不适用于数百万条记录。

    【讨论】:

    • 我将我的大文件拆分为每个包含 200 万条记录的文件。我正在尝试从 2 个 Cassandra 节点同时上传它们。虽然效率不高,但您是否预见到这种方法中的任何其他问题..?当我从 mysql 数据库的 .csv 导出上传时,我遇到了 SSTableLoader 的问题。因此,我使用了 COPY,因为它不那么复杂..
    猜你喜欢
    • 2011-06-08
    • 1970-01-01
    • 2013-01-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-12-06
    • 2019-04-27
    • 2015-10-08
    相关资源
    最近更新 更多