【发布时间】：2017-03-29 12:12:09
【问题描述】：
我有一个巨大的 20GB CSV 文件要复制到 Hadoop/HDFS 中。当然，我需要管理任何错误情况（如果服务器或传输/加载应用程序崩溃）。
在这种情况下，我需要重新开始处理（是否在另一个节点中）并继续传输，而不是从头开始启动 CSV 文件。
最好和最简单的方法是什么？
使用 Flume？斯库普？本机 Java 应用程序？火花？
非常感谢。
【问题讨论】：
-
你为什么不使用 distcp ？除非你想在做检查点时以流的形式读取数据
-
因为我的 src 文件 (20gb) 不在 hadoopn 上 WebHDFS 是否适合大文件？
-
我从未尝试过 WebHDFS，但我相信 Hadoop 能够使用 distcp 在分布式事务中从本地复制到 hdfs
-
distcp 适用于 HDFS 到 HDFS，但是，它不提供 MapReduce 的高并行性，因为输入数据驻留在本地。您对我的问题有其他解决方案吗？ chokrane ;)
标签： java hadoop apache-spark sqoop flume