【发布时间】：2014-04-28 07:05:50
【问题描述】：
我知道可以通过 sqoop 将 RDBM 的数据导入 HDFS，但我想知道是否也可以导入平面文件。
例如，是否可以从远程 Linux 文件系统导入文件？
感谢您的帮助。
【问题讨论】：
-
你考虑过使用 Flume 吗？ flume.apache.org
-
@sudarshan 是的，但我真的很想知道 Sqoop 是否可行
【发布时间】：2014-04-28 07:05:50
【问题描述】：
为了将平面文件放入 HDFS，不需要 Sqoop，我认为没有任何理由为此使用 Sqoop。只需尝试以下命令。 Here 是相同的文档。
hadoop fs -put <src-linux-file-system> <target-hdfs-file-system>
【讨论】：
-
谢谢。但我想知道 Sqoop 的答案，例如远程平面文件的情况
-
让我们知道您为什么要使用 Sqoop 而不是大象 :)，然后其他人可以帮助您。
-
我只是在研究所有的可能性。在我的项目中，我们将使用 sqoop 将 RDBM 的数据导入 hdfs。我们认为使用 sqoop 从远程源导入平面文件会更容易。如果不可能，我们当然会研究其他可能性。
-
我们应该始终找到满足要求的工具，而不是相反 - 祝您好运找到替代品。
-
@shanks_roux，如果您的主机（远程文件系统/源）安装了 Hadoop 客户端，那么它将能够读取/写入 HDFS。使用 hadoop fs -put 将是可行的选择。
答案是否定的，使用sqoop导入纯文本文件，使用Flume导入
【讨论】：
Sqoop 不能用于将任何文件类型导入 Hadoop。根据您对数据摄取到 hadoop 中的及时性的要求（批处理、近实时、实时），您可以选择 fs -put（适用于宏批处理）、flume 或 kafka（适用于更频繁的更新，例如接近实时-时间用例）。对于实时摄取，您可能需要首先考虑内存，然后才是永久存储。在这种情况下，您可能需要使用一些工具，例如 Storm 或 Spark Streaming。
【讨论】：