【问题标题】:how to integrate eclipse and hadoop 2.6如何集成eclipse和hadoop 2.6
【发布时间】:2019-08-07 00:59:17
【问题描述】:

我已经在我的 ubuntu 14.04 中安装了 hadoop 2.6,但是当我想使用 java API 在 hadoop 中运行代码时,我应该导出一个 jar 文件并使用终端运行它。有没有什么办法可以用hadoop配置eclipse,直接在eclipse中运行hadoop的java代码?

【问题讨论】:

    标签: java eclipse hadoop


    【解决方案1】:

    将 Hadoop-2.6.0 与 eclipse 集成

    1. 用户“hdfs”在所有 Hadoop 进程都运行的地方创建。
    2. Hadoop 安装到目录“/opt/hadoop”。
    3. Eclipse 安装到目录“/opt/eclipse”。

    第 1 步:下载 hadoop-eclipse-plugin 2.6.0 jar

    第 2 步:将 Eclipse 的 Map-Reduce 插件复制到 eclipse 文件夹的 plugins 目录中 -sudo cp /home/hdfs/Downloads/hadoop-eclipse-plugin-2.6.0.jar /opt/eclipse/plugins/ 使用命令重新启动 eclipse -/opt/eclipse/eclipse -vm /usr/local/jdk1.8.0_05/bin/java -vmargs -Xmx1024m 如果由于 X11 转发问题而没有出现 elcipse,在切换到“hdfs”时尝试使用“sux”而不是“su”。

    第三步:启动eclipse$ECLIPSE_HOME/eclipse

    第四步:在 Eclipse 菜单中点击,Window --> Open Perspective --> Others --> MapReduce

    第 5 步:在底部的 MapReduce 图标中单击以添加新的 Hadoop 位置

    步骤 6:输入 MapReduce 和 HDFS 运行端口 调用时,$HADOOP_HOME/conf/mapred-site.xml 中指定的 MapReduce 端口 (9001) 调用时,$HADOOP_HOME/conf/core-site.xml 中指定的 HDFS 端口 (9000) 输入 Hadoop 用户名

    第 7 步:添加 Hadoop 位置后,将在 Eclipse 项目资源管理器窗口中看到/显示 DFS 位置,(Windows-->显示视图-->项目资源管理器)

    第 8 步:添加 Hadoop 后,将在 Project Explorer 窗口中看到/显示 DFS 位置,

    步骤 9:右键单击 DFS 位置并单击连接

    第 10 步:连接成功后,会显示所有 DFS 文件夹。

    第 11 步:您可以创建目录,将文件上传到 HDFS 位置,通过右键单击任何列出的目录将文件下载到本地。

    【讨论】:

    • 我一定是在做一些非常愚蠢的事情,但我在第 4 步中没有看到“MapReduce”选项。请帮帮我。我复制了jar文件。我的 Eclipse 是使用 opt-get 安装到 /usr/share/eclipse 而不是 /opt。
    猜你喜欢
    • 2014-11-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-10-17
    • 1970-01-01
    • 2016-07-14
    • 2011-06-15
    • 1970-01-01
    相关资源
    最近更新 更多