火花流 |将不同的数据帧并行写入多个表

Question

我正在从 Kafka 读取数据并加载到数据仓库中，我是从一个 Kafka 主题 创建一个数据框并在应用所需的转换后，我从中创建多个 DF 并将这些 DF 加载到不同的表中，但是此操作是按顺序进行的。有没有办法可以并行化这个表加载过程？

root
|-- attribute1Formatted: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- accexecattributes: struct (nullable = true)
|    |    |    |-- id: string (nullable = true)
|    |    |    |-- name: string (nullable = true)
|    |    |    |-- primary: boolean (nullable = true)
|    |    |-- accountExecUUID: string (nullable = true)
|-- attribute2Formatted: struct (nullable = true)
|    |-- Jake-DOT-Sandler@xyz.com: struct (nullable = true)
|    |    |-- id: string (nullable = true)
|    |    |-- name: string (nullable = true)
|    |    |-- primary: boolean (nullable = true)

分别为attribute1Formatted和attribute2Formatted创建了两个不同的数据框，并且这些DF被保存到不同表中的数据库中。

Answer 1

我对 Spark 流式传输了解不多，但我相信流式传输是迭代的微批处理，在 Spark 批处理执行中，每个操作都有一个接收器/输出。所以你不能一次执行就将它存储在不同的表中。

现在，

1. 如果你把它写在一个表中，读者可以只读取他们需要的列。我的意思是：你真的需要把它存放在不同的地方吗？
2. 可以写两次，过滤掉不需要的字段

• 两个写入操作都会执行整个数据集的计算，然后删除不需要的列
• 如果全数据集计算时间长，可以在过滤+写入前缓存