Azure 表存储 - 有序数据的 RowKey 设计答案

【问题标题】：Azure Table Storage - RowKey design for ordered dataAzure 表存储 - 有序数据的 RowKey 设计
【发布时间】：2013-03-04 06:26:07
【问题描述】：

我将大量 GPS 数据存储在存储表中。每个分区最多可以达到 100 万个实体。插入到表中的每个 GPS 实体实际上与之前插入的数据是连续的，因此顺序很重要。

有时我需要执行以下查询：

从当前实体（在同一分区内）获取前/后 3 个 GPS 实体。

RowKey 设计选项：

创建一个递增整数。 但是如何跟踪表的当前大小？无法获取表格行数，或获取最后插入的行。
使用日期时间刻度。但是如何使用刻度获取上一个/下一个实体？

我在 C# 中使用 SDK 2.0 版。

【问题讨论】：

"从当前实体获取前/后 3 个 GPS 实体" -- 这是在同一个分区键中吗？
是的。谢谢 - 我现在将编辑帖子。

标签： c# azure azure-storage azure-table-storage

【解决方案1】：

这是一个超级酷的问题。

如果您的工作是只查找在给定条目之后或之前的条目，这将很简单，因为您可以使用 DateTime.Now.Ticks 或 (DateTime.Max.Ticks - DateTime.Now.Ticks ) 作为 RowKey 并在查询中使用“Take”命令来查找最近的 X 记录。

但是，由于您需要找到位于给定位置 ID 之后或之前的最近位置，因此我认为以下一种设计模式可能适用于您的 RowKey：

您需要为每个 GPS 位置保存两个实体。实体的数据应该相同，只是行键不同
一个实体的 RowKey 为：DateTime.UtcNow.Ticks，前缀为：“A”（升序）
另一个实体的 RowKey 为：DateTime.MaxValue.Ticks - DateTime.UtcNow.Ticks，并有一个前缀字符，比如：“D”（降序）

例如，您有 7 个位置，Location1..thru..Location7 我给了它们从 01 到 99 的随机 Tick 值（为简单起见）。假设 MaxTicks 为 100。这将使我们的表包含以下数据：

Rowkey，实体数据

A----01，位置 1
A----50，位置 2
A----55，位置 3
A----66，位置 4
A----67，位置 5
A----90，位置 6
A----99，位置 7
D----01，位置 7
D----10，位置 6
D----33，位置 5
D----34，位置 4
D----45，位置 3
D----50，位置 2
D----99，位置 1

现在，对于每个实体，您都可以轻松计算其“相反”的 Rowkey 实体。（只需从 DateTime.MaxValue.Ticks 中减去其 RowKey 并将前缀从 A 翻转到 D 或从 D 翻转到 A）

因此，如果您需要位于 Location3 之前的 2 个实体，只需发出查询以从 RowKey 大于“D----45”且小于“D----99”的表中获取 2 个实体（最大限度）。如果您需要在 Location3 之后取 2 行，只需发出 Take 2，其中 RowKey 大于“A----55”且小于“A-----99”（最大值）。发出“小于”标准很重要，这样您在查询“A”时就不会意外遇到“D”。

在批处理事务中更新/插入两组实体，以保证两者都或没有进入表并“瞧”。

这种方法的缺点是您必须支付两倍的存储空间。

希望这会有所帮助，不要太混乱

【讨论】：

感谢您的出色回答。由于multi query points，我已经不得不“复制”数据。这意味着相同数据的 4 个版本。从关系的角度来看，这将是可怕的。我仍在努力为 NoSQL 设计数据。 Azure 的数据存储本质上非常便宜，所以我想我会接受你的建议。
另一种选择是让冗余分区仅存储一个名为 RowKeyReference 的列，该列将具有“主”分区中实体的 RowKey。这将节省数据成本......但它确实有一个关系元素。意见？
这取决于您一次需要拾取多少个相关实体。您将对这些进行单独的查询。（尽管查询速度很快）。如果您需要“很多”附近的实体，我会采用单一查询方法......否则，仅存储引用然后在第二次调用中获取真实实体可能不是一个坏主意。
您可以在 rowkey 中使用 '(DateTime.MaxValue.Ticks - DateTime.UtcNow.Ticks).ToString("d19")' 格式，因为它被排序为字符串而不是整数