如何在 cassandra 中存储流数据答案

【问题标题】：How to store streaming data in cassandra如何在 cassandra 中存储流数据
【发布时间】：2015-01-11 20:01:25
【问题描述】：

我是 Cassandra 的新手，我很困惑。我知道 cassandra 的写入速度非常快。我想存储来自 Storm 的 twitter 数据。我用谷歌搜索，每次我获得了 sstable 并加载到集群中。如果每次我都必须使 sstable 变得稳定，那么如何将 twitter 数据流存储在 cassandra 中。

请帮帮我。

如何存储日志数据，每秒生成 1000 个日志。

如有错误请指正

【问题讨论】：

请更具描述性。你想在 cassandra 中批量加载数据还是连续流式传输数据

标签： hadoop cassandra analytics

【解决方案1】：

如果您的架构良好，我认为 Cassandra 单节点每秒可以处理 1000 条日志而无需批量加载。还取决于每个日志的大小。

或者你可以使用 Cassandra 的Copy From CSV 命令。

为此，您需要先创建一个表。

这是来自 datastax 网站的示例：

CREATE TABLE airplanes (
  name text PRIMARY KEY,
  manufacturer text,
  year int,
  mach float
);

COPY airplanes (name, manufacturer, year, mach) FROM 'temp.csv';

您需要根据列在 CSV 中的存储顺序来指定列的名称。对于带有逗号 (,) 的值，您可以将它们括在双引号 (") 中或使用不同的分隔符。

【讨论】：

数据每秒 1000log，如何使用给定命令进行复制，因为我的数据不在 csv 中。我想直接存储在 cassnadra 中。
您需要指定数据的流式传输方式。您可以轻松使用 datastax cql 连接器来推送数据。