【发布时间】：2017-10-11 05:08:08
【问题描述】：
我尝试使用 zeppelin 可视化来自 csvs 的一些数据，现在，数据大约 3GB 和 800 万行，每天增加 1GB（250 万行）。
目前，我尝试做的是在本地读取所有这些文件（基于 zeppelin 给出的教程）。但问题是，当我尝试将其可视化时，最多有 10000 行的限制。确实，我可以增加限制，但它仍然不能覆盖那几百万行（超时）
我做错了吗？对我的案子有什么建议吗？
感谢您提供的任何回复。
【问题讨论】：
【发布时间】：2017-10-11 05:08:08
【问题描述】：
可视化所有数据可能不是您想要的。
Zeppelin 在浏览器中工作，因此如果您尝试显示所有数据，它会占用您所有的资源（cpu、内存）并且您会遇到很多延迟。
此外，如果你展示一个 100K-1M 的对象，它可能看起来像一团糟或像一个大污点，什么也不说。 哇，你可以做的是计算一些聚合、直方图、对象密度或获取随机样本数据（例如，如果您使用 spark 数据框和数据集，则有一些内置方法）并可视化这些东西。 您可以计算一些回归、聚类数据、计算矩等等，但在单个图上显示所有数据可能不是你想要的。
相信我，我曾经从社交网络的用户数据中推断出超过 15 亿个对象，并试图通过显示这些对象来获得一些洞察力。我必须管理，我不可能在一张图片上显示所有这些。
【讨论】：
我们将数据可视化以了解数据。喜欢。
- 数据的分布方式
- 从数据中判断趋势
- 在数据中查找模式
当然，我们只能将有限数量的点放入图表中。我们可以
- 随机抽样数据
- 在特定维度上采样数据，例如时间
- 按特定维度聚合数据
看看spark-highchart。它是一个使用 Spark 将数据可视化到 Highcharts 的库。它可以在 Zeppelin 中使用。
【讨论】：