谷歌云数据存储。如何服务数据？

Question

和许多人一样，我对 NoSQL 世界并不陌生。我做了很多研究，但我仍然只缺少一点，我找不到正确的答案。

系统简介：

我正在构建一个系统，用于收集不同网站上的访问者数据。每次访问都是数据存储中的一个实体，具有设备类型、IP、访问时间等属性。

数据存储区将有数百万次访问。

我的问题是如何将这些数据提供给客户。我的数据在数据存储中设置为“访问”实体。

现在，当客户登录时，我不想向他们展示数百万条记录。例如，我想向他们展示一般统计数据。比如移动设备上的访问次数、某个时间范围内来自特定国家/地区的访问次数等等。

现在，由于我是 NoSQL 数据库的新手，我不确定应该如何在客户的仪表板中显示这些统计信息。

据我所知，Datastore 不支持聚合，例如获取查询结果的计数。

我查看了 BigQuery，但 BigQuery 适用于 Datastore“备份”，我需要实时提供数据，而无需手动进行备份。

我还阅读了有关计数器和分片计数器的信息，这是正确的方法吗？每个跟踪组的每个属性的每个客户都有一个计数器？并以这种方式显示总数？对于一个简单的目的来说，这听起来太多了。

任何可以让我朝着正确方向前进的意见或解释都将受到高度赞赏。

最好的问候

Answer 1

是的，就性能而言，计数器是解决您的问题的好方法。但它们确实有一些缺点，例如存储大小以及每次您想要引入一种新的统计数据类型时，您都需要为其创建一个计数器。

除了您当前的“访问”实体之外，您还可以选择将聚合数据存储在数据存储区的分片计数器中。这些计数器可以实时更新，也可以通过您的任务队列之一中的任务进行更新。创建一个任务来为当前的访问实体创建各种计数器是相当简单的。

分片是一种创建多个“基础”实体的方法，这些实体在组合时代表一些有意义的数据。进行分片以确保不会因并发更新而导致性能问题。

来自Google Documentation:

如果你有一个单一的实体是计数器和更新率 太快了，那么你会在序列化写入时发生争用 会堆积起来并开始超时。解决这个问题的方法是 如果你来自关系型，有点违反直觉 数据库;该解决方案依赖于从应用程序读取的事实 引擎数据存储非常快速且便宜。减少的方法 争用是建立一个分片计数器 - 将计数器分成 N 不同的计数器。当你想增加计数器时，你选择 随机分片之一并增加它。当你想知道 总计数，您读取所有计数器碎片并总结它们 个人计数。您拥有的分片越多，吞吐量就越高 你的柜台上会有增量。该技术适用于 不仅仅是计数器，学习的一项重要技能是 通过大量写入发现应用程序中的实体 然后找到好的方法来分片。

我建议您查看链接以获取更多信息和一些有用的示例。

Answer 2

据我所知，Datastore 不支持聚合或获取计数 例如查询结果。

这不是真的。您可以使用一行代码获取查询返回的多个实体。查询本身可以是key-only，速度非常快，而且基本上是免费的。