Apache Sqoop 和 Flume 可以互换使用吗？

Question

我是大数据的新手。从What's the difference between Flume and Sqoop? 的一些答案来看，Flume 和 Sqoop 都可以从源中提取数据并推送到 Hadoop。谁能指定使用水槽的确切位置以及 sqoop 的位置？两者都可以用于相同的任务吗？

Answer 1

Flume 和 Sqoop 都设计用于处理不同类型的数据源。

Sqoop 可与任何支持 JDBC 连接的 RDBMS 系统配合使用。另一方面，Flume 可以很好地处理流数据源，例如在您的环境中不断生成的日志数据。

具体来说，

• Sqoop 可用于将数据导入/导出到 RDBMS 系统，例如 Oracle、MS SQL Server、MySQL、PostgreSQL、Netezza、Teradata 和其他一些支持 JDBC 连接的系统。
• Flume 可用于从以下来源摄取高吞吐量数据，并插入到下面的目标（接收器）中。
  • 常用的水槽源：
    • 假脱机目录 - 正在其中创建大量文件的目录，主要用于收集和聚合日志数据
    • JMS - 从基于 JMS 的系统收集指标
    • 还有lots more
  • 常用的水槽水槽：
    • HDFS
    • HBase
    • 太阳能
    • 弹性搜索
    • 还有lots more

不，这两种工具不能用于完成相同的任务，例如，flume 不能用于数据库，sqoop 不能用于流数据源或平面文件。

如果你有兴趣，flume 也有一个替代品，它与 chukwa 做同样的事情。