【问题标题】:Suggestion for building a small Hadoop cluster for learning purpose建一个小型Hadoop集群以供学习的建议
【发布时间】:2017-12-22 14:46:06
【问题描述】:

我对我的大数据课程进行了测试,我必须对“较小”的数据集进行某种大数据分析。我实际上已经弄清楚了。我从源代码在我的 Ubuntu 16.04 上以独立模式安装了 Hadoop 2.8.1 和 Spark 2.2.0(我使用 PySpark 构建程序)。我自己做我的事其实很好。

问题是,我的一些朋友在配置所有这些方面都在苦苦挣扎,我心想“为什么不和我的同学一起制作自己的小集群”。所以我正在寻找建议。

我的笔记本电脑有 12 GB RAM 和 Intel Core i5。

【问题讨论】:

  • 您可以在 AWS、GCP 或 Azure 中构建共享集群...

标签: hadoop apache-spark cluster-computing distributed-computing


【解决方案1】:

如果我理解正确,您的朋友在独立模式下设置 spark 时遇到问题(意味着根本没有集群,只是本地计算)。我不认为建立一个他们可以使用的集群会消除他们将面临的复杂性。还是他们试图建立一个集群?因为Spark的独立模式真的不需要太多配置。

另一种方法是使用每个人都可以单独使用的预配置虚拟机。要么自己准备,要么有不同提供商的沙箱,例如Cloudera 和 Hortonworks。

【讨论】:

  • 是的,正确的。不仅如此,他们中的一些人还因为计算能力的限制而无法运行 Cloudera 和 Hortonworks。另外,这个测试的必要条件之一是我们必须在 MapReduce 环境中进行数据分析。老实说,这很模糊。但是我们的导师给了我们一个建议,在 HDFS 的顶部运行 Spark。
  • 在这种情况下,如果您有一个正在工作的小型集群(并且您的笔记本电脑应该足够强大以运行节点恕我直言),那么他们可以将其配置指向您的 IP/端口。
  • 您如何判断您的笔记本电脑是否足够强大以运行节点?我们最大的数据集有 302k 行。假设我有一个包含 5 个节点、12 GB RAM 和 i5 处理器的集群,你认为它足够强大吗?
  • @Tata​​ 我已经使用 Vagrant 创建了一个具有 i5 和 16 GB RAM 的 5 节点 Hadoop 集群...如果您使用 Ambari 及其蓝图功能,您可以轻松导出您的 Vagrantfile 定义和 Ambari在任何系统上重新创建集群的蓝图。
猜你喜欢
  • 2021-11-23
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-08-08
  • 2014-06-03
  • 2014-09-13
  • 2015-10-06
相关资源
最近更新 更多