【发布时间】：2020-08-25 16:56:59
【问题描述】：
有什么方法可以将 sqoop 作为 spark 作业运行。通过它我们可以将 MapReduce 执行替换为 Spark 执行引擎
【问题讨论】：
-
问题是为什么要将它作为 spark 运行？ Sqoop 执行 sql 语句或将整个表复制到 HDFS 位置，sqoop 不做任何转换。只有它在 MAP 阶段创建与数据库的并行连接并复制数据，sqoop 没有 REDUCE 阶段。也许我错了，但在这种情况下 Spark 和 MR 将执行相同的操作。
标签： apache-spark apache-spark-sql sqoop