【问题标题】:map reduce job stuck during sqoop import在 sqoop 导入期间映射减少作业卡住
【发布时间】:2015-12-18 05:40:08
【问题描述】:

在运行这个 sqoop 导入命令时

sqoop import --connect jdbc:mysql://localhost/training --username training --password training --table cityByCountry

在 cloudera VM 4.1.1 上

mapreduce 作业卡在终端打印的最后一行 mapreduce.Job:正在运行的作业:job_1450451392672_0001

15/12/17 10:41:55 INFO mapreduce.Job:跟踪作业的 url:http://localhost.localdomain:8088/proxy/application_1450451392672_0001/ 2017 年 15 月 12 日 10:41:55 INFO mapreduce.Job:正在运行的作业:job_1450451392672_0001

我试图跟踪 JOB。在浏览器中返回了这个!

请求的应用程序似乎尚未运行,并且尚未设置跟踪 URL

如何调试和解决?

【问题讨论】:

  • 相应作业的日志目录会发生什么?
  • 可以粘贴作业运行时生成的输出 sqoop 命令吗?
  • 在命令行上设置密码是不安全的。考虑改用 -P。 manager.MySQLManager:准备使用 MySQL 流结果集。 tool.CodeGenTool:开始代码生成 manager.SqlManager:执行 SQL 语句:SELECT t.* FROM cityByCountry AS t LIMIT 1 manager.SqlManager:执行 SQL 语句:SELECT t.* FROM cityByCountry AS t LIMIT 1 orm.CompilationManager :HADOOP_HOME 是 /usr/lib/hadoop /tmp/sqoop-training/compile/7c194a69f6fd32b3ef7ff2baac4c564f/cityByCountry.java 使用或覆盖已弃用的 API。这是前几行。Thanks4replying
  • @avaid 感谢您的回复。在日志目录中应该有 3 个文件 1)cityByCountry.class 2)cityByCountry.java 3)cityByCountry.jar 但在我的情况下 .java 文件只缺少 .class &.jar 文件。
  • 您需要将日志附加到文件中。它在中间被击中。一旦我看到日志,我就可以对其发表评论。

标签: hadoop mapreduce sqoop


【解决方案1】:

有时它是由于 mysql 服务器上的负载而发生的。 使用 -m 1

尝试相同的命令
sqoop import --connect jdbc:mysql://localhost/training --username training --password training --table cityByCountry -m 1

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2023-04-05
    • 2020-09-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多