H2O Spark 流式传输 2.1 分发答案

【问题标题】：H2O Spark streaming 2.1 distributionH2O Spark 流式传输 2.1 分发
【发布时间】：2017-08-24 12:20:19
【问题描述】：

在苏打水中运行示例 IRIS 模型时，我间歇性地遇到分布错误。

苏打水：2.1 火花流卡夫卡 - 0.10.0.0 使用 spark submit 在本地运行 - 仅限 master

DistributedException from xxx:54321, caused by java.lang.NullPointerException
            at water.MRTask.getResult(MRTask.java:478)
            at water.MRTask.getResult(MRTask.java:486)
            at water.MRTask.doAll(MRTask.java:390)
            at water.MRTask.doAll(MRTask.java:396)
            at hex.Model.predictScoreImpl(Model.java:1103)
            at hex.Model.score(Model.java:964)
            at hex.Model.score(Model.java:932)
    ....
    Caused by: java.lang.NullPointerException
        at water.fvec.Vec.chunkForChunkIdx(Vec.java:1014)
        at water.fvec.CategoricalWrappedVec.chunkForChunkIdx(CategoricalWrappedVec.java:49)
        at water.MRTask.compute2(MRTask.java:618)
        at water.MRTask.compute2(MRTask.java:591)
        at water.MRTask.compute2(MRTask.java:591)
        at water.H2O$H2OCountedCompleter.compute1(H2O.java:1223)
        at hex.Model$BigScore$Icer.compute1(Model$BigScore$Icer.java)
        at water.H2O$H2OCountedCompleter.compute(H2O.java:1219)
        at jsr166y.CountedCompleter.exec(CountedCompleter.java:468)
        at jsr166y.ForkJoinTask.doExec(ForkJoinTask.java:263)
        at jsr166y.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:974)
        at jsr166y.ForkJoinPool.runWorker(ForkJoinPool.java:1477)
        at jsr166y.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:104)

【问题讨论】：

标签： spark-streaming h2o sparkling-water

【解决方案1】：

所以问题是 H2O 模型没有看到数据并导致 NPE。主要原因可能是在预测时或在预测调用之前删除了 h2o 数据帧。

我们很想知道您如何处理小批量数据，即如何将小批量转换为 h2o 数据帧。

如果您解释“如何调用 h2o 模型进行预测”也会有所帮助。

【讨论】：

我不确定我的代码到底出了什么问题，但是当我在集群而不是本地执行相同的部分时，它运行良好。我认为问题主要出在我的本地网络设置上。抱歉回复晚了。