我是 Apache Spark 的新手，想知道它是否适合我的特定场景。就我而言，我正在抓取小型数据集（作为 MongoDB 的 JSON 文件）。这些文件实际上与同一实体相关，但它们可能具有不同的结构（与其他文件相比，同一集合中的特定 JSON 可能包含更多或更少的键/值对）。我正在尝试对这些数据文件运行机器学习（分类/回归）算法并从中获取信息。
当您考虑这个案例时，您认为 Spark 是否有资格通过在集群环境中并行处理来加快处理速度？或者你认为我应该收敛到其他一些选择吗？
谢谢。
【问题讨论】：
标签： json mongodb python-3.x apache-spark
并行处理是当今大数据世界的一种方式。考虑到您的情况，Spark 绝对是一个不错的选择。 Spark 是 in-memory computation tool，与 driver-executor scheme 一起使用。内存是选择spark 时最重要的考虑因素。你可以查看Apache-spark
由于您的项目与机器学习有关，spark 有很多机器学习库mllib-guide
MongoDB 也受支持。你可以查看databricks use case
希望对你有帮助
【讨论】：
是的，Apache Spark 支持这些类型的用例。如果需要，您可以直接从 JSON 文件中读取。还支持 MongoDB 作为数据源。但是，最重要的是为什么你应该使用 Spark，因为它直接在数据集上支持机器学习算法，你可以获得并行处理、容错、延迟加载等等！
直接从他们的机器学习页面引用 -
它的目标是让实用的机器学习变得可扩展且简单。在高层次上，它提供了以下工具：
查看他们的机器学习页面了解更多详情 - http://spark.apache.org/docs/latest/ml-guide.html
MongoDB 作为数据源 - https://databricks.com/blog/2015/03/20/using-mongodb-with-spark.html 直接从文件夹加载 JSON 文件 - How to load directory of JSON files into Apache Spark in Python
此外，它还有 Python、R、Scala 和 Java 的 API！选择你觉得舒服的。
【讨论】：