【问题标题】:how to change sqoop import temporary directory如何更改 sqoop 导入临时目录
【发布时间】:2023-03-13 23:39:01
【问题描述】:

sqoop 导入 ...

默认情况下,在将所有数据发送到 target_directory 之前,会将所有数据放入临时表目录中。在我的情况下,这个临时目录默认为 hdfs:///user/ 目录。如何将其更改为另一个 hdfs 目录?

我尝试执行以下操作,但效果不佳。它仍然在 hdfs:///user/ 目录中创建临时目录

sqoop 导入 -Dyarn.app.mapreduce.am.staging-dir=hdfs://projects/ -Dmapreduce.jobtracker.staging.root.dir=hdfs://projects/ -Dhadoop.tmp.dir=hdfs: //项目/ .....

【问题讨论】:

    标签: apache mapreduce hdfs sqoop temp


    【解决方案1】:

    您能否尝试使用 --temporary-rootdir 为您的临时目录指定 hdfs 位置。

    谢谢

    【讨论】:

      猜你喜欢
      • 2020-07-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-12-04
      • 2012-04-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多