SQOOP 从 RDBMS 传输到 Hadoop 的速度有多快？

Question

谁能告诉我，SQOOP 一次传输 20 亿条记录的速度有多快。而且我知道它必须很快，因为 sqoop 并行运行，其中一些输入将在 Hadoop 上产生一些文件输出。但我想知道一次MapReduce传输20亿条记录的速度详情。

Answer 1

您需要了解将数据从 RDBMS 更快地传输到 Hadoop 的要点。

• 映射器数量：

  增加映射器的数量会提高您的速度，因为它会将任务分成几部分并并行执行导入。

• Mappers 上的平衡负载：

  您需要在统一的列上进行拆分（首选整数）。它将为所有映射器提供均衡的负载，并且传输速度更快。

• 来自 RDBMS 的连接数：

  您不能只是盲目地增加映射器的数量（比如 100 个或更多）。您的 RDBMS 应该允许这些并发连接，否则它将成为 RDBMS 方面的瓶颈。

• 使用--Direct模式：

  如果 sqoop 为特定的 RDBMS 提供了直接连接器，则应该使用它。这将使传输更快。

---

简而言之，sqoop 的速度足以传输数十亿条记录，只需在编写导入命令时牢记这些点即可。