【问题标题】:Pyspark - Dataframe foreach function not works on multiple workers/parallelizePyspark - Dataframe foreach 函数不适用于多个工作人员/并行化
【发布时间】:2016-12-06 17:23:01
【问题描述】:

我在 EC2 上运行具有 1 个主设备和 2 个从设备的 Spark StandAlone 集群。集群正在工作。我有一个从 s3 加载数据的 python 应用程序。代码如下:

spark = SparkSession.builder.appName("Example").getOrCreate()
df = spark.read.csv("s3n://bucket-name/file-name.csv", header=True, mode="DROPMALFORMED")

然后我在df上申请.foreach(func)对df的每一行做一些工作:

def test_func(row):
    row = modify(row)
    row.save() # just an example

df.foreach(test_func)

我已阅读文档,他们说.foreach() 已经针对分布式/并行处理进行了优化。但是,test_func 只在 1 个节点上运行,请看下面的日志:(任务 3 是.foreach(test_func))

INFO TaskSchedulerImpl: Adding task set 3.0 with 1 tasks
INFO TaskSetManager: Starting task 0.0 in stage 3.0 (TID 3, 1xx.xxx.xxx.xx2, partition 0, PROCESS_LOCAL, 17460 bytes)
INFO CoarseGrainedSchedulerBackend$DriverEndpoint: Launching task 3 on executor id: 0 hostname: 1xx.xxx.xxx.xx2

有没有办法将此test_func 分发给集群中的多个节点/工作人员?非常感谢您的帮助。提前谢谢你。

******更新******

我已经增加了数据,但仍然只有 1 个任务分配给 1 个工作人员,并且运行该功能需要很多时间。 这就是我运行应用程序的方式

./bin/spark-submit --packages com.amazonaws:aws-java-sdk-pom:1.10.34,org.apache.hadoop:hadoop-aws:2.7.2 --master spark://ip-xxx-xxx-xxx-xxx.us-west-2.compute.internal:7077 examples/src/main/python/test.py --executor-memory 5G --deploy-mode cluster

另一件事是即使我设置了--executor-memory 5G,但工作人员只使用 1Gb 内存。谁能帮我解决这个问题?我已经被困在这几天了。非常感谢您。

【问题讨论】:

  • 此代码不解释单个任务,如果确实如此的话。可能根本没有足够的数据来提供更多信息。
  • 您好 LostInOverflow,感谢您的评论。这个单项任务需要3分钟才能完成,如果可以分发的话,我觉得应该更快吧?无论如何,我会尝试使用更大的数据集,看看是否有任何区别。

标签: apache-spark pyspark spark-dataframe pyspark-sql


【解决方案1】:

来自@LostInOverflow:

如果确实如此,此代码不会解释单个任务。 可能根本没有足够的数据来提供更多信息。

这是正确的。在我将数据增加到几万条记录后,任务被拆分并分配给所有执行者。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-08-21
    • 2019-08-26
    • 1970-01-01
    • 2022-01-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-11-05
    相关资源
    最近更新 更多