通过 JDBC 进行并行化 - Pyspark - 并行化如何使用 JDBC 工作？

Question

如何使用JDBC 进行并行化？

这是我的代码：

spark = SparkSession.builder.getOrCreate()
DF    = spark.read.jdbc( url           =  ...,
                         table         = '...',
                         column        = 'XXXX',
                         lowerBound    =  Z,
                         upperBound    =  Y,
                         numPartitions = K
                         )

我想知道以下参数之间的关系以及是否有办法正确选择它们：

1. column -> 它应该是为分区选择的列
   （它需要是数字列吗？）
2. lowerBound -> 选择它有经验法则吗？
3. upperBound -> 选择它有经验法则吗？
4. numPartitions -> 选择它有经验法则吗？

我明白了

stride = ( upperBound / numPartitions ) - ( lowerBound / numPartitions )

每个分区中是否有很多“步幅”？

换句话说，在所有观察完成之前，分区是否充满了一大堆步幅？

请看this picture 了解问题的意义，考虑以下参数：

 lowerBound     80.000
 upperBound    180.000
 numPartitions       8
 Stride         12.500

注意：

 min('XXXX')      =           0
 max('XXXX')      =     350.000
 ('XXXX').count() = 500.000.000

附：我看了documentation和this的答案，但不是很明白。

Answer 1

1. 是的，根据文档，它 列 必须是数字列。为什么？因为否则您无法计算 stride 即 (upperBound - lowerBound) / numPartitions = 12.500(items per partition)

2. 我认为如果列已经是数据库中的索引列，那将是理想的，因为您需要尽快检索这些记录。那么upperBound 和lowerBound 应该是您要检索到spark 中的数据的边界（例如，考虑column=id 那么您需要的数据可能是id between 1 and max(id)）。

3. 对于所有情况，正确的 numPartitions 是一个难以准确处理的主题。不过要注意的一个经典问题是连接池的大小。例如，您应该避免创建比池可以处理的更多的并行连接。当然并行连接的数量与分区的数量直接相关。例如，如果您有 8 个最大分区，则确保最大并行连接数也是 8。有关如何为 numPartitions 选择正确值的更多信息，您可以查看this

祝你好运