一种快速获取大型 RDD 中每个位置平均值的方法

Question

我有一个很大的 RDD（超过 1,000,000 行），而每行有四个元素 A,B,C,D 在一个元组中。 RDD 的头部扫描看起来像

[(492,3440,4215,794),
(6507,6163,2196,1332),
(7561,124,8558,3975),
(423,1190,2619,9823)]

现在我想找到这个 RDD 中每个位置的平均值。例如，对于上面的数据，我需要一个输出列表具有值：

(492+6507+7561+423)/4
(3440+6163+124+1190)/4
(4215+2196+8558+2619)/4
(794+1332+3975+9823)/4

这是：

[(3745.75,2729.25,4397.0,3981.0)]

由于RDD很大，不方便计算每个位置的和然后除以RDD的长度。有什么快速的方法可以让我得到输出吗？非常感谢。

Answer 1

我认为没有什么比计算每列的平均值（或总和）更快的方法了
如果您使用的是 DataFrame API，您可以简单地聚合多个列：

import os
import time

from pyspark.sql import functions as f
from pyspark.sql import SparkSession

# start local spark session
spark = SparkSession.builder.getOrCreate()

# load as rdd
def localpath(path):
    return 'file://' + os.path.join(os.path.abspath(os.path.curdir), path)

rdd = spark._sc.textFile(localpath('myPosts/'))

# create data frame from rdd
df = spark.createDataFrame(rdd)
means_df = df.agg(*[f.avg(c) for c in df.columns])
means_dict = means_df.first().asDict()
print(means_dict)

请注意，字典键将是默认的 spark 列名称（'0'、'1'、...）。如果您想要更多说话的列名，可以将它们作为参数提供给 createDataFrame 命令