使用 spark 从 s3 读取 CSV 文件

Question

我是 Spark 的新手。我有一个场景，我需要从 AWS s3 读取和处理 CSV 文件。这个文件是每天生成的，所以我需要读取和处理它并将数据转储到 Postgres 中。

我想并行处理这个巨大的文件以节省时间和内存。

我想出了两个设计，但我对 spark 有点困惑，因为 spark 上下文需要与所有 s3 存储桶打开连接。

1. 使用 Spark Streaming 从 s3 读取 CSV 并处理并逐行转换为 JSON 并将 JSON 数据附加到 Postgres 的 JSONB 列中。
2. 使用 spring & java -> 在服务器上下载文件然后开始处理并将其转换为 JSON。

谁能帮我找到正确的方向？

Answer 1

如果它是每天的，并且只有 100MB，那么您实际上并不需要太多的大型工具。我估计 offers

尝试在本地执行此操作，使用 aws s3 cp 复制到本地系统，然后尝试使用 postgres。

我不会使用任何并行工具；甚至 Spark 也想要使用 32-64MB 的块，所以你不会得到超过 2-3 个工人。如果文件是 .gz，那么您会得到一个。

也就是说，如果你想学习 spark，你可以在 spark-shell 中进行。不过先在本地下载，只是为了节省时间和金钱。