【问题标题】:Copy data/File from Windows to Linux machine or HDFS将数据/文件从 Windows 复制到 Linux 机器或 HDFS
【发布时间】:2016-10-12 07:29:59
【问题描述】:

我正在处理大数据,我想从远程机器上的文件系统中获取数据/文件,而不是从任何数据库中获取数据/文件,即将文件从远程 linux/windows 机器复制到 hdfs。请帮帮我。

【问题讨论】:

  • 你的意思是从远程linux机器复制文件到本地linux机器?
  • 将文件从远程 linux/windows 机器复制到本地机器或 hdfs。
  • 在问题中提及

标签: hadoop filesystems hdfs bigdata


【解决方案1】:

您可以将文件从本地文件复制到远程文件系统,反之亦然

scp 命令 scp [选项] [[User@]From_Host:]Source_File [[User@]To_Host:][Destination_File]

【讨论】:

  • 我可以在source_file 中提供我的hdfs 路径吗?
  • 是的,您可以提供 hdfs 路径以便将文件导出到该路径,但在此之前您需要这样写 username@hostname:/hdfs_path 另外,如果它是hdfs,那么你可以使用hdfs dfs -put your_local_file hdfs_path 将你的文件上传到hadoop
  • 我试过这个 scp 命令,它在 linux 系统之间运行良好,但在 linux 和 windows 系统之间运行不正常。
  • 你可以使用filezilla来达到这个目的,这里是链接filezilla-project.org
  • 感谢您的帮助。如果您喜欢这个问题,请点赞。
【解决方案2】:

尝试安装Hue。这是一个非常有用的工具。 点击此链接了解更多详情:http://gethue.com/

进入Hue中的文件浏览器,点击“添加文件”按钮即可上传文件到HDFS

【讨论】:

  • 我正在使用 cloudera cdh 5.7 它已经有 Hue 但是如何使用 Hue 从 Windows 机器移动文件?
  • 进入Hue的文件浏览器,点击“添加文件”按钮
  • 它向我展示了我的 linux 机器本地文件系统。没有从 windows 文件系统中选择的选项。
  • 你可以从你的windows文件系统上传文件
  • 感谢您的帮助!有没有办法自动化这个过程?
猜你喜欢
  • 2010-09-22
  • 2011-10-03
  • 2019-11-14
  • 2017-02-19
  • 1970-01-01
  • 2019-08-27
  • 1970-01-01
  • 2019-11-21
  • 2015-02-18
相关资源
最近更新 更多