【问题标题】:Issues when using hadoop to copy files from grid to local使用 hadoop 将文件从网格复制到本地时的问题
【发布时间】:2016-08-26 03:06:55
【问题描述】:

我正在尝试将一些文件从 hadoop HDFS 复制到本地。我使用了以下命令

hadoop fs -copyToLocal <hdfs path> <local path>

文件大小只有80M。我之前做过一项工作,将大小为 70MB 的文件复制到本地没有问题。但是,这次我遇到输入/输出错误

copyToLocal: Input/output error

谁能告诉我哪里出了问题?

【问题讨论】:

  • 您可能需要检查日志文件以获取详细的错误消息
  • 您是否有权写入本地路径文件夹?文件夹存在吗?
  • @zhutoulala 请问如何查看日志? user34790 我也有同样的问题,你是怎么解决的?下面的答案是否适用?

标签: hadoop hdfs distributed-computing hadoop-streaming


【解决方案1】:

这可能是您机器上的空间限制。我遇到了同样的问题,因为文件太大而无法移动到我的本地机器上。腾出空间后,我就可以执行 copyToLocal 操作了。

【讨论】:

  • 与 Maria 完全一样的情况。
猜你喜欢
  • 1970-01-01
  • 2017-03-14
  • 2012-11-21
  • 2010-11-18
  • 2015-03-28
  • 1970-01-01
  • 1970-01-01
  • 2013-08-24
  • 2017-04-29
相关资源
最近更新 更多