Kylin Build Cube 有时在“#19 Step Name: Hive Cleanup”处失败 java.lang.RuntimeException: 无法读取 kylin_hive_conf.xml答案

【问题标题】：Kylin Build Cube failed somtimes at" #19 Step Name: Hive Cleanup" java.lang.RuntimeException: Failed to read kylin_hive_conf.xmlKylin Build Cube 有时在“#19 Step Name: Hive Cleanup”处失败 java.lang.RuntimeException: 无法读取 kylin_hive_conf.xml
【发布时间】：2020-01-20 07:32:40
【问题描述】：

有时会出现错误，重启kylin(kylin.sh stop and then kylin.sh start)后，会找到conf dir位置并通过这一步。

我使用的是Kylin版本“2.6.2”，KYLIN_CONF="/opt/kylin/conf"已经设置正确了。

错误提示是不同的，因为我已经反驳了以下内容： 1.

java.lang.RuntimeException: Failed to read kylin_hive_conf.xml at '/opt/apache-kylin-2.6.2-bin-hadoop3/bin/meta/kylin_hive_conf.xml'
    at org.apache.kylin.common.util.SourceConfigurationUtil.loadXmlConfiguration(SourceConfigurationUtil.java:88)
    at org.apache.kylin.common.util.SourceConfigurationUtil.loadHiveConfiguration(SourceConfigurationUtil.java:61)
    at org.apache.kylin.common.util.HiveCmdBuilder.<init>(HiveCmdBuilder.java:48)
    at org.apache.kylin.source.hive.GarbageCollectionStep.cleanUpIntermediateFlatTable(GarbageCollectionStep.java:63)
    at org.apache.kylin.source.hive.GarbageCollectionStep.doWork(GarbageCollectionStep.java:49)
    at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:167)
    at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:71)
    at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:167)
    at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:114)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

java.lang.RuntimeException: Failed to read kylin_hive_conf.xml at '/opt/apache-kylin-2.6.2-bin-hadoop3/bin/meta/kylin_hive_conf.xml'

java.lang.RuntimeException: Failed to read kylin_hive_conf.xml at '/opt/apache-kylin-2.6.2-bin-hadoop3/conf/meta/kylin_hive_conf.xml'

谁能帮我找到根本原因并解决这个问题？提前致谢。

【问题讨论】：

标签： cube kylin

【解决方案1】：

我希望你已经解决了这个问题。我遇到了同样的问题并调查了它。

首选https://github.com/apache/kylin/blob/kylin-2.6.2/engine-mr/src/main/java/org/apache/kylin/engine/mr/common/AbstractHadoopJob.java#L481

当我们使用 MapReduce 时，KYLIN_CONF 会被设置为不同的文件夹。

System.setProperty(KylinConfig.KYLIN_CONF, metaDir.getAbsolutePath());

我认为要解决这个问题，我们必须为所有 XML xml 配置创建简单的链接。

尝试检查您的 Kylin 日志

cat YOUR_PATH/apache-kylin-2.6.3-bin-hbase1x/logs/kylin.log | grep "The absolute path"

你可能会看到结果

2019-10-14 23:47:04,438 INFO  [LocalJobRunner Map Task Executor #0] common.AbstractHadoopJob:482 : The absolute path for meta dir is /SOME_FOLDER/meta

【讨论】：