【问题标题】:hardware requirement for hadoop installation on Laptop在笔记本电脑上安装 hadoop 的硬件要求
【发布时间】:2018-04-05 23:36:02
【问题描述】:

我打算在 Hadoop、MapReduce 和其他大数据方面获得一些经验。最初我想将它安装在笔记本电脑上。我想知道推荐在 Windows 上安装 Hadoop 的最佳笔记本电脑硬件是什么。我假设我必须安装单节点安装,如果没有请指导我正确的配置。 问候 纳迪姆

【问题讨论】:

  • 看看wiki.apache.org/hadoop/Hadoop2OnWindows 的windows安装(没有cygwin)。并没有真正的系统要求列表,但是当您按照网站上的说明下载 hadoop 时,下载有一个包含系统要求的 README (BUILDING.txt)。

标签: hadoop mapreduce hardware


【解决方案1】:

我知道您提到想要在 Windows 上安装,但 Cloudera 提供单节点 Hadoop Linux VM 映像,可以让您立即启动并运行。您甚至还包含示例和脚本,这是一个非常好的起点。

https://www.cloudera.com/downloads.html

(别忘了查看Getting Started 部分。)

在我看来,如果您想了解大数据和 Hadoop,您还应该花一些时间来熟悉 Linux,因为大多数真实环境都是基于 Linux 的。

系统要求:每个 Cloudera 页面,VM 占用 4GB RAM 和 3GB 磁盘空间。这意味着您的笔记本电脑应该有更多(我推荐 8GB+)。存储方面,只要您有足够的能力使用中小型数据集(10 GB)进行测试,就可以了。至于 CPU,如果你的机器有这么多的 RAM,你很可能会没事的。我正在使用具有 4GB 内存的单节点蹩脚 Pentium G3210 来测试我的小作业,它工作得很好。

以后,如果您超出此环境,您可以简单地转移到您自己的伪分布式设置。

当然,如果我刚才说的对你来说没有意义,那么你可以先阅读一下……

【讨论】:

  • 链接已失效 - 当前版本为 5-4(因此旧网址不起作用)。如果有人感兴趣,请查看cloudera.com/content/www/en-us/downloads.html,然后选择当前版本
  • 如果我想建立一个用于培训目的的集群 - 一次说 30 个人只是为了让他们感受一下系统(主要是 Hive) - 我应该寻找什么样的硬件对于 NameNode 和 DataNode?理想情况下,我应该瞄准多少个数据节点?我不是在处理大量数据。只是为了体验和培训。
【解决方案2】:

如果您想练习简单的程序(不是数据密集型),那么 4GB RAM 应该是不错的选择。 如果你想安装一个单节点,最好的配置是至少 4 核的 32GB RAM。

有关如何安装单个节点的更多信息,请参阅 myhobbyandexperiments.wordpress.com

【讨论】:

    【解决方案3】:

    您不太可能准备好拥有一台仅支持 Linux 的笔记本电脑。因此,您需要一个支持 64 位虚拟化的 64 位 CPU——当然还有 64 位操作系统。请注意,对虚拟化的支持通常在 BIOS 级别被禁用,您需要找到并启用它。

    除此之外,还有足够的 RAM - 至少 8GB,尽管 16GB 是首选。我还喜欢为不同的操作系统配备不同的硬盘驱动器,所以一台笔记本电脑可以用 HD caddy 替换 DVD 和第二个 SSC 硬盘驱动器(比如 128GB)会很好。

    【讨论】:

      【解决方案4】:

      具有 4 GB 内存的 Windows 64 位操作系统应该会很好。 我已经发布了一个博客。在这篇博客中,我记录了使用 Windows 64 位 PC 或笔记本电脑以伪分布式模式安装和设置 Hadoop 集群的详细步骤以及支持的屏幕截图

      这是一个 3 步过程

      第 1 步 - 安装 VM 播放器

      第 2 步 - 设置 Lubuntu 虚拟机

      第 3 步 - 安装 Hadoop

      http://hadooppseudomode.blogspot.in/

      【讨论】:

      • 问题是关于硬件要求,而不是真正的安装说明。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-06-16
      • 1970-01-01
      • 1970-01-01
      • 2021-06-12
      • 1970-01-01
      相关资源
      最近更新 更多