【发布时间】:2017-12-22 14:46:06
【问题描述】:
我对我的大数据课程进行了测试,我必须对“较小”的数据集进行某种大数据分析。我实际上已经弄清楚了。我从源代码在我的 Ubuntu 16.04 上以独立模式安装了 Hadoop 2.8.1 和 Spark 2.2.0(我使用 PySpark 构建程序)。我自己做我的事其实很好。
问题是,我的一些朋友在配置所有这些方面都在苦苦挣扎,我心想“为什么不和我的同学一起制作自己的小集群”。所以我正在寻找建议。
我的笔记本电脑有 12 GB RAM 和 Intel Core i5。
【问题讨论】:
-
您可以在 AWS、GCP 或 Azure 中构建共享集群...
标签: hadoop apache-spark cluster-computing distributed-computing