【问题标题】:Unable to start sqoop: jobtracker not found无法启动 sqoop:找不到 jobtracker
【发布时间】:2016-07-26 20:57:15
【问题描述】:

当我使用 sqoop 将数据从 mysql 传输到 cassandra 时,出现类似标题的错误。

dse sqoop import --connect jdbc:mysql://<IP address>/Turkgen --username root --table mgs --cassandra-keyspace turkgen_ks --cassandra-table mgs --cassandra-thrift-host localhost --cassandra-create-schema

我运行这个命令,我得到了错误: 无法启动 sqoop:找不到 jobtracker

编辑:

当我查看 jobtracker 的日志文件时。有这样的错误:

不包含有效的主机:端口权限:本地

我该如何解决?

【问题讨论】:

  • 您在哪个版本的 DSE 上运行它。如果您没有 jobtracker,那么可能没有在分析节点上运行它。
  • dse 版本为 4.8.6。我在外部安装了 Hadoop,我没有在 dse 内部使用 hadoop。我正在尝试按照datastax的官方手册实现从mysql到cassandra的数据迁移,但出现“无法启动sqoop:找不到jobtracker”的错误。当我运行命令“dse hive”时,我得到了同样的错误。

标签: hadoop cassandra sqoop


【解决方案1】:

输入 shell jps 并检查作业跟踪器是否正在运行。

如果不是那么 start-all.sh

【讨论】:

  • start-all.sh 命令启动所有hadoop服务,但我的hadoop服务已经运行。但是我尝试了你的建议,但我得到了同样的错误。我的问题还在继续。
  • 试试 bin/hadoop dfsadmin -safemode leave
【解决方案2】:

我也是一个初学者,但我为我工作

请查看 hdfs 中的 /tmp 是否使用 1777 权限将 mapred 设为其所有者 在设置过程中,HDFS 中的 /tmp 可能会被删除尝试看看

【讨论】:

    【解决方案3】:

    请确保 HADOOP_CONF_DIRYARN_CONF_DIR 指向包含 Hadoop 集群(客户端)配置文件的目录。如果您使用 CDH,则需要确保 YARN 网关角色部署在您运行 sqoop 命令的节点上。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2021-12-12
      • 1970-01-01
      • 1970-01-01
      • 2019-11-19
      • 2011-06-14
      • 2016-04-26
      • 2018-04-03
      相关资源
      最近更新 更多