【问题标题】:Is Python spark parallel computingPython spark是并行计算吗
【发布时间】:2022-12-07 05:24:00
【问题描述】:

我的问题是 Python 和 Spark 哪个更好。 Python 和 Pyspark 哪个更快

确切答案,因为我对 Python 或 Spark 感到困惑。 Spark 一般很难

【问题讨论】:

  • 您的问题不清楚且范围很广。请提供您所做的研究(如果可能,请提供链接)以及有关您的潜在用途的一些背景信息,然后再提出更具体的问题。
  • Python 是一种编程语言,而 Spark 是分布式执行引擎——这并不是真正的同类比较。也许尝试描述您正在尝试使用这些技术解决的问题。

标签: python python-2.7 pyspark


【解决方案1】:

Python 是一种编程语言。您可以使用 PySpark 而不仅仅是使用 Spark。

Python 通常是顺序的。您需要其他并行库来并行运行 Python 程序。 Spark 是为并行构建的。您可以使用 PySpark 进行并行计算(多台机器)。

说哪个更好真的取决于你的问题。如果你有需要多台机器处理的巨大数据,我建议使用 PySpark。否则,即使是几GB的数据,Python也可以。

【讨论】:

    猜你喜欢
    • 2016-09-27
    • 2021-05-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多