Scala 与 Python 的 Spark Structured Streaming 性能

Question

嗨~我打算用Kafka + Spark Structured Streaming开发一个小批量程序。但是我很困惑，到底是用python还是scala，哪个更快。如果有任何关于 Scala 和 Python 之间 Spark Structured Streaming 的基准性能测试结果会更好。

Answer 1

这不是一个真正的问题。

唯一的问题是 1) Scala 速度更快，但每个微批次的数据规模可能意味着影响更小，并且 2) Scala 支持数据集类型，而 pyspark 没有。

大多数使用 Scala，pyspark 更多用于数据科学。

也就是说，使用 pyspark 进行实时机器学习可能会更好。例如：https://towardsdatascience.com/building-a-real-time-prediction-pipeline-using-spark-structured-streaming-and-microservices-626dc20899eb