为什么 Cassandra 不从 CSV 文件加载所有值？答案

【问题标题】：Why Cassandra does not load all values from CSV file?为什么 Cassandra 不从 CSV 文件加载所有值？
【发布时间】：2015-06-04 12:24:30
【问题描述】：

我刚刚开始使用Cassandra（单节点设置，2.0.9 版本）。我试图将数据从 CSV 文件加载到COLUMNFAMILY，但注意到它实际上只加载了 239595 行中的 2 行。我不明白为什么。我会很感激任何提示。

cqlsh 控制台输出：

从 CSV 加载数据

cqlsh:keyspace_test1> COPY invoices (date, product_id, customer_id, quantity, sales) FROM '/home/martakarass/Desktop/invoices.csv';
239595 rows imported in 1 minute and 52.766 seconds.

注意SELECT 只显示 2 行

cqlsh:keyspace_test1> SELECT * FROM invoices limit 10; 

 date     | customer_id | product_id    | quantity | sales
----------+-------------+---------------+----------+--------
 2/1/2015 |  Client_100 | Product_15702 |        6 | 123.42
 1/9/2015 |  Client_998 | Product_43550 |     3000 | 15.368

(2 rows)

检查计数是否已加载所有行

cqlsh:keyspace_test1> SELECT count(*) FROM invoices; 

 count
-------
     2

(1 rows)

cqlsh:keyspace_test1>

（更新）表格详情：

cqlsh:keyspace_test1> DESCRIBE COLUMNFAMILY keyspace_test1.invoices; 

CREATE TABLE invoices (
  date text,
  customer_id text,
  product_id text,
  quantity int,
  sales float,
  PRIMARY KEY ((date))
) WITH
  bloom_filter_fp_chance=0.010000 AND
  caching='KEYS_ONLY' AND
  comment='' AND
  dclocal_read_repair_chance=0.100000 AND
  gc_grace_seconds=864000 AND
  index_interval=128 AND
  read_repair_chance=0.000000 AND
  replicate_on_write='true' AND
  populate_io_cache_on_flush='false' AND
  default_time_to_live=0 AND
  speculative_retry='99.0PERCENTILE' AND
  memtable_flush_period_in_ms=0 AND
  compaction={'class': 'SizeTieredCompactionStrategy'} AND
  compression={'sstable_compression': 'LZ4Compressor'};

【问题讨论】：

还共享表的详细信息，DESCRIBE COLUMNFAMILY keyspace_test1.invoices;
我用DESCRIBE COLUMNFAMILY keyspace_test1.invoices; 的输出更新了我的评论（在从 CSV 文件加载了这“两”行之后）。
你能发布top invoices.csv的输出吗？

标签： cassandra cassandra-2.0 cqlsh

【解决方案1】：

我将冒险猜测您的 invoices.csv 文件中的日期不是唯一的。当我创建一个类似的表时：

CREATE TABLE stackoverflow.invoices (
    date timestamp PRIMARY KEY,
    amount bigint,
    id bigint
)

我使用一个包含 4 行的 CSV 文件，如下所示：

date|id|amount
2015-03-30 00:00:00-0500|1|4500
2015-03-31 00:00:00-0500|2|5500
2015-03-31 00:00:00-0500|3|6600
2015-03-31 00:00:00-0500|4|7500

接下来，我用COPY FROM 导入它们：

aploetz@cqlsh:stackoverflow> COPY invoices (date, id, amount) FROM 
    '/home/aploetz/invoices.csv' WITH DELIMITER='|' AND HEADER=true;

4 rows imported in 0.035 seconds.

我应该有 4 行，对吗？错了。

aploetz@cqlsh:stackoverflow> SELECT * FROm invoices;

 date                     | amount | id
--------------------------+--------+----
 2015-03-30 00:00:00-0500 |   4500 |  1
 2015-03-31 00:00:00-0500 |   7500 |  4

(2 rows)

Cassandra 主键是独一无二的。因此，如果您要从文件中导入 239595 行，但实际上只有两个唯一日期，那么您将拥有 2 行。

【讨论】：

是的，你是对的！感谢您分享您的经验！ :)
没问题@Marciszka，很高兴我能帮上忙。

【解决方案2】：

这是一个没有解决的错误cqlssh bug

您可以通过以下方式解决您的问题：拳头去你的根目录你会得到.cassandra文件夹进入这个文件夹你会得到

cqlshrc

添加这两行

[csv]
field_size_limit=1000000000

然后关闭您的文件。重新启动 cassandra，您的问题将得到解决。

【讨论】：