Cassandra cqlsh - 如何显示时间戳列的微秒/毫秒？答案

【问题标题】：Cassandra cqlsh - how to show microseconds/milliseconds for timestamp columns?Cassandra cqlsh - 如何显示时间戳列的微秒/毫秒？
【发布时间】：2015-04-17 07:54:09
【问题描述】：

我正在插入带有时间戳列的 Cassandra 表。我得到的数据是微秒精度的，所以时间数据字符串是这样的：

2015-02-16T18:00:03.234+00:00

但是，在 cqlsh 中，当我运行选择查询时，未显示微秒数据，我只能看到精确到秒的时间。 234 微秒数据未显示。

我想我有两个问题：

1) Cassandra 是否使用时间戳数据类型捕获微秒？我猜是的？

2) 如何使用 cqlsh 进行验证？

表定义：

create table data (
  datetime timestamp,
  id text,
  type text,
  data text,
  primary key (id, type, datetime)
) 
with compaction = {'class' : 'DateTieredCompactionStrategy'};

使用 Java PreparedStatment 运行插入查询：

insert into data (datetime, id, type, data) values(?, ?, ?, ?);

选择查询很简单：

select * from data;

【问题讨论】：

你能用你的表定义，INSERT 和SELECT 查询来编辑你的帖子吗？在我看到这些信息之前我不能确定，但您的问题可能与此有关：stackoverflow.com/questions/26237940/…
刚刚按照您的要求更新了我的帖子。如果这还不够清楚，请告诉我。谢谢。

标签： cassandra timestamp cql cqlsh

【解决方案1】：

为了回答您的问题，我对这个问题做了一些研究。

Cassandra 是否捕获具有时间戳数据类型的微秒？

微秒不，毫秒是。如果我创建你的表，插入一行，并尝试按截断时间查询它，它不起作用：

aploetz@cqlsh:stackoverflow> INSERT INTO data (datetime, id, type, data) 
VALUES ('2015-02-16T18:00:03.234+00:00','B26354','Blade Runner','Deckard- Filed and monitored.');
aploetz@cqlsh:stackoverflow> SELECT * FROM data 
WHERE id='B26354' AND type='Blade Runner' AND datetime='2015-02-16 12:00:03-0600';

 id | type | datetime | data
----+------+----------+------

(0 rows)

但是当我在指定毫秒时查询相同的 id 和 type 值时：

aploetz@cqlsh:stackoverflow> SELECT * FROM data 
WHERE id='B26354' AND type='Blade Runner' AND datetime='2015-02-16 12:00:03.234-0600';

 id     | type         | datetime                 | data
--------+--------------+--------------------------+-------------------------------
 B26354 | Blade Runner | 2015-02-16 12:00:03-0600 | Deckard- Filed and monitored.

(1 rows)

所以毫秒肯定是存在的。已为此问题创建了一个 JIRA 票证 (CASSANDRA-5870)，但它被解决为“无法修复”。

如何使用 cqlsh 进行验证？

实际验证毫秒确实存在的一种可能方法是将timestampAsBlob() 函数嵌套在blobAsBigint() 中，如下所示：

aploetz@cqlsh:stackoverflow> SELECT id, type, blobAsBigint(timestampAsBlob(datetime)), 
data FROM data;

 id     | type         | blobAsBigint(timestampAsBlob(datetime)) | data
--------+--------------+-----------------------------------------+-------------------------------
 B26354 | Blade Runner |                           1424109603234 | Deckard- Filed and monitored.

(1 rows)

虽然不是最佳的，但在这里您可以清楚地看到最后的毫秒值“234”。如果我为相同的时间戳添加一行，但没有毫秒，这会变得更加明显：

aploetz@cqlsh:stackoverflow> INSERT INTO data (id, type, datetime, data)
VALUES ('B25881','Blade Runner','2015-02-16T18:00:03+00:00','Holden- Fine as long as nobody unplugs him.');
aploetz@cqlsh:stackoverflow> SELECT id, type, blobAsBigint(timestampAsBlob(datetime)), 
                 ...     data FROM data;

 id     | type         | blobAsBigint(timestampAsBlob(datetime)) | data
--------+--------------+-----------------------------------------+---------------------------------------------
 B25881 | Blade Runner |                           1424109603000 | Holden- Fine as long as nobody unplugs him.
 B26354 | Blade Runner |                           1424109603234 |               Deckard- Filed and monitored.

(2 rows)

【讨论】：

感谢您的详细回复，这很有帮助。我可以使用您那里的解决方案。我想在实践中我会以编程方式取回时间戳，只要它有效就可以了。那么在这种情况下，是否有偏好以 bigint 格式存储时间戳？
@Will 老实说，这取决于您的用例。如果您关心时间精度，那么将其存储为 timeuuid 将是可行的方法。但是，如果毫秒更多是有效载荷字段或结果排序，那么我可以看到 bigint 为您工作。
是的，对我来说订购确实很重要。会考虑这个。谢谢！
@没问题，很高兴我能帮上忙！
有没有办法通过在 node-cassandra-cql 中使用 timestampAsBlob 之类的函数来获取时间戳？

【解决方案2】：

您可以使用 python 的“strftime”语法在.cassandra/cqlshrc 文件中configure the output format 的日期时间对象。

不幸的是，%f 微秒指令（似乎没有毫秒指令）does not work 用于较旧的 python 版本，这意味着您必须回退到 blobAsBigint(timestampAsBlob(date)) 解决方案。

【讨论】：

【解决方案3】：

我认为“微秒”（例如 03.234567）是指“毫秒”（例如 (03.234)。

这里的问题是 cqlsh 在处理时间戳时无法支持小数秒的错误。

因此，虽然您的毫秒值保留在实际持久层 (cassandra) 中，但 shell (cqlsh) 无法显示它们。

即使您要使用%f 指令（例如%Y-%m-%d %H:%M:%S.%f%z）将.cqlshrc 中的time_format 更改为显示小数秒也是如此。在此配置中，cqlsh 将为我们的 3.234 值呈现 3.000000，因为问题在于 cqlsh 如何加载日期时间对象而不加载部分秒数。

话虽如此，这个问题已在CASSANDRA-10428 中修复，并在Cassandra 3.4 中发布。

【讨论】：

【解决方案4】：

使用 Cassandra 数据类型“时间戳”无法显示微秒（百万分之一秒），因为该数据类型可用的最高精度是毫秒（千分之一秒）。

http://docs.datastax.com/en/cql/3.1/cql/cql_reference/timestamp_type_r.html

时间戳类型的值被编码为 64 位有符号整数表示自标准基准时间以来的毫秒数被称为时代

【讨论】：

【解决方案5】：

一些相关代码：

cqlsh> CREATE KEYSPACE udf
  WITH replication = {'class': 'SimpleStrategy', 'replication_factor' : 3};

cqlsh> USE udf;

cqlsh:udf> CREATE OR REPLACE FUNCTION udf.timeuuid_as_us ( t timeuuid ) 
RETURNS NULL ON NULL INPUT
RETURNS bigint LANGUAGE JAVA AS '
  long msb = t.getMostSignificantBits();
  return
    ( ((msb >> 32) & 0x00000000FFFFFFFFL)
    | ((msb & 0x00000000FFFF0000L) << 16)
    | ((msb & 0x0000000000000FFFL) << 48)
    ) / 10
    - 12219292800000000L;
';

cqlsh:udf> SELECT
  toUnixTimestamp(now())    AS now_ms
, udf.timeuuid_as_us(now()) AS now_us
FROM system.local;

 now_ms        | now_us
---------------+------------------
 1525995892841 | 1525995892841000

【讨论】：