我只有 RDBMS PostgresSQL 方面的经验，但我是 Apache Spark 和 MongoDB 的新手。
所以我有以下困惑请我
1) Apache Spark SQL 和 MongoDB 有什么区别？
2) 什么样的地方/场景/领域需要使用 SparkSQL 或 MongoDB 或组合方式？
3) Apache Spark 被 mondoDB、cassandra 等取代...？
4) 我在 MongoDB 中拥有数 TB 的数据，我想做数据分析，然后需要提供报告。
所以请分享你的知识并给我你的意见
问候
尚卡尔S
【问题讨论】：
标签： mongodb apache-spark data-analysis data-science nosql
1) Apache Spark： Apache Spark 用于在 SQL 查询中对大数据执行并行计算操作。
MongoDB： MongoDB 是一个文档存储，本质上是一个数据库，因此无法与作为计算引擎而非存储的 Spark 进行比较。
2) SparkSQL 非常适合处理在 Spark 集群中导入的结构数据，在该集群中，您有数百万数据可用于大计算。 Mongodb 可以在你需要 NoSQL 功能的地方使用（它具有完整的 NoSQL 功能，与 SparkSQL 相比）。
3)
没有 Apache Spark 用于不同的目的，你不能用 mondoDB、cassandra 代替它。它就像计算引擎在large data sets上给你预测结果@
4) 使用 SLAM DATA http://slamdata.com/ 等第三方服务来应用 mongodb 分析也使用 spark data-frame 从 MongoDB 中读取数据
【讨论】：
这是两个不同且广泛的问题，但我正在尝试回答：-
1) Apache Spark SQL 和 MongoDB 有什么区别？
Spark SQL 是 Apache Spark 提供的一个库，用于在 SQL 查询中对大数据进行并行计算操作。 MongoDB 是一个文档存储，本质上是一个数据库，因此无法与作为计算引擎而非存储的 Spark 进行比较。
2) 我需要使用 SparkSQL 或 MongoDB 或组合方式的地方/场景/域？
SparkSQL 非常适合处理在 Spark 集群中导入的结构数据。 Mongodb 是您需要 NoSQL 功能的理想选择（它具有完整的 NoSQL 功能，与 SparkSQL 相比）
3) Apache Spark 将取代 mondoDB、cassandra...？
不完全是因为它们在不同的范围内。 Apache Spark 不会取代，但可以称为 Map-reduce 的继任者，用于在大数据集上进行并行计算。
4) 我在 MongoDB 中有数 TB 的数据，我想从中进行数据分析，然后需要提供报告。
使用 spark dataframe 使用 jdbc driver 从 MongoDB 读取数据，然后您可以在 dataframe 上运行一些 Spark SQL 查询，然后您可以使用其他可视化工具（如 pyplot）生成报告。
谢谢，
查尔斯。
【讨论】：