【发布时间】:2019-11-12 19:08:09
【问题描述】:
无法从网上得到直接的答案。 考虑以下数据场景: 我有包含 user_id 和用户活动时间戳的数据:
val bigData = Seq( ( "id3",12),
("id1",55),
("id1",59),
("id1",50),
("id2",51),
("id3",52),
("id2",53),
("id1",54),
("id2", 34)).toDF("user_id", "ts")
所以原来的DataFrame是这样的:
+-------+---+
|user_id| ts|
+-------+---+
| id3| 12|
| id1| 55|
| id1| 59|
| id1| 50|
| id2| 51|
| id3| 52|
| id2| 53|
| id1| 54|
| id2| 34|
+-------+---+
例如,这就是我将写入 HDFS\S3 的内容。
但是我无法保存按用户分组的数据,例如:
bigData.groupBy("user_id").agg(collect_list("ts") as "ts")
结果:
+-------+----------------+
|user_id| ts|
+-------+----------------+
| id3| [12, 52]|
| id1|[55, 59, 50, 54]|
| id2| [51, 53, 34]|
+-------+----------------+
对于哪种方法可以在文件系统上获得更好的存储/压缩,我可以得到一个决定性的答案。分组方法看起来(直观地)更好的存储/压缩方式。
有人知道是否有绝对的方法或知道关于这个主题的任何基准或文章吗?
【问题讨论】:
标签: apache-spark compression bigdata parquet