用于交互式可视化的 dc 客户端渲染海量数据是否适用于分析工具

Question

要开发像https://dc-js.github.io/dc.js/vc/index.html 和DC 这样的交互式仪表板，使用交叉过滤器在整个数据集上进行客户端渲染是分析平台的最佳选择吗？

对分析平台的一些见解 - 该平台可以连接到世界上任何地方的任何数据库表，只要提供数据库连接详细信息并获取特定表的列进行分析（求和、平均值、最小值、最大值）然后使用图表库呈现它们，以便在客户端进行可视化。

我知道服务器端 (NodeJS) 渲染有一种可能的方式，可以利用 crossfilter 库，但作为后端，计划是使用 Python。

主要关注点-即使数据量很大，客户端的交互也应该很流畅。现在的问题是：

• 在客户端获取所有数据而不考虑其大小以使应用程序最具交互性是一个好主意吗？

• 它对客户端内存堆栈施加了多少限制？

• 有没有更好的方法来做到这一点，这样我们就不必在交互性和客户端/服务器端数据处理之间进行权衡？

Answer 1

在客户端获取所有数据是否是个好主意？ 它的大小使应用程序最具交互性？

没有

它对客户端内存堆栈施加了多少限制？

与您的数据一样大。 Chrome 最多消耗大约 1GB 的内存，但在大多数用例到达那里之前很久就会停止。如果您压缩的数据超过 ~10MB，那么是时候开始考虑非客户端选项了。

有没有更好的方法来做到这一点，这样我们就不必在两者之间进行权衡 数据的交互性和客户端/服务器端处理？

您需要考虑在客户端和服务器之间分担数据处理负载的高级架构，这些架构通常没有可用的简单库实现。我将http://lcadata.info（它是开源的）放在一起作为如何做到这一点的一个例子。后端是 Lift/Scala/Spark，但你可以用 Python 做类似的事情。