AFTSurvivalRegression LBFGS 错误目标表现不佳答案

【问题标题】：AFTSurvivalRegression LBFGS Error Objective Poorly BehavedAFTSurvivalRegression LBFGS 错误目标表现不佳
【发布时间】：2018-09-27 20:18:34
【问题描述】：

我从以下电话中收到以下消息：

import pyspark.ml.regression as sparkreg
...
aftsr = sparkreg.AFTSurvivalRegression(labelCol="time", censorCol="event", featuresCol="features", maxIter=1000)
aftsr = aftsr.fit(sdf)

2018-04-17 14:20:42 ERROR StrongWolfeLineSearch:27 - Encountered bad values in function evaluation. Decreasing step size to 0.5
2018-04-17 14:20:43 ERROR StrongWolfeLineSearch:27 - Encountered bad values in function evaluation. Decreasing step size to 0.25
2018-04-17 14:20:43 ERROR LBFGS:27 - Failure! Resetting history: breeze.optimize.FirstOrderException: Line search zoom failed
2018-04-17 14:20:43 ERROR LBFGS:27 - Failure! Resetting history: breeze.optimize.FirstOrderException: Line search failed
2018-04-17 14:20:43 ERROR LBFGS:27 - Failure again! Giving up and returning. Maybe the objective is just poorly behaved?

然后它返回比例和截距的“坏”值。有没有办法避免这种情况？我可以向.fit 提供初步估算吗？不幸的是，我无法分享数据。这发生在一个问题实例中，但不会发生在其他问题实例中。

【问题讨论】：

标签： python-3.x apache-spark pyspark apache-spark-ml survival-analysis

【解决方案1】：

这是由 Breeze 库 (Fix strong wolfe line search init value bug #651) 中的另一个错误引起的已知错误（SPARK-21523、SPARK-21919、SPARK-21919）。

应该在 Spark 2.2.1 和 2.3 中修复。

【讨论】：

这是我的 pyspark 版本：pyspark=2.3.0=py36_0。我还应该遇到这个问题吗？
我通过 Anaconda 安装了 pyspark。