【发布时间】:2016-12-06 17:23:01
【问题描述】:
我在 EC2 上运行具有 1 个主设备和 2 个从设备的 Spark StandAlone 集群。集群正在工作。我有一个从 s3 加载数据的 python 应用程序。代码如下:
spark = SparkSession.builder.appName("Example").getOrCreate()
df = spark.read.csv("s3n://bucket-name/file-name.csv", header=True, mode="DROPMALFORMED")
然后我在df上申请.foreach(func)对df的每一行做一些工作:
def test_func(row):
row = modify(row)
row.save() # just an example
df.foreach(test_func)
我已阅读文档,他们说.foreach() 已经针对分布式/并行处理进行了优化。但是,test_func 只在 1 个节点上运行,请看下面的日志:(任务 3 是.foreach(test_func))
INFO TaskSchedulerImpl: Adding task set 3.0 with 1 tasks
INFO TaskSetManager: Starting task 0.0 in stage 3.0 (TID 3, 1xx.xxx.xxx.xx2, partition 0, PROCESS_LOCAL, 17460 bytes)
INFO CoarseGrainedSchedulerBackend$DriverEndpoint: Launching task 3 on executor id: 0 hostname: 1xx.xxx.xxx.xx2
有没有办法将此test_func 分发给集群中的多个节点/工作人员?非常感谢您的帮助。提前谢谢你。
******更新******
我已经增加了数据,但仍然只有 1 个任务分配给 1 个工作人员,并且运行该功能需要很多时间。 这就是我运行应用程序的方式
./bin/spark-submit --packages com.amazonaws:aws-java-sdk-pom:1.10.34,org.apache.hadoop:hadoop-aws:2.7.2 --master spark://ip-xxx-xxx-xxx-xxx.us-west-2.compute.internal:7077 examples/src/main/python/test.py --executor-memory 5G --deploy-mode cluster
另一件事是即使我设置了--executor-memory 5G,但工作人员只使用 1Gb 内存。谁能帮我解决这个问题?我已经被困在这几天了。非常感谢您。
【问题讨论】:
-
此代码不解释单个任务,如果确实如此的话。可能根本没有足够的数据来提供更多信息。
-
您好 LostInOverflow,感谢您的评论。这个单项任务需要3分钟才能完成,如果可以分发的话,我觉得应该更快吧?无论如何,我会尝试使用更大的数据集,看看是否有任何区别。
标签: apache-spark pyspark spark-dataframe pyspark-sql