【问题标题】:Slow solving with ECOS_BB, CBC errors with "Not enough constraints"使用 ECOS_BB 解决缓慢,使用“没有足够的约束”的 CBC 错误
【发布时间】:2020-01-01 09:04:51
【问题描述】:

我有一个二元 MIP 优化问题,我想在给定预算和一些其他属性的限制的情况下选择最佳候选人。对于每个候选人,我都有一个从单独的贝叶斯分析中获得的可能效用的样本向量。候选人之间存在相关性。因此,我不想仅根据平均效用来选择最佳候选者,而是对过于相关的候选者对进行负加权。有点类似于金融中的均值方差优化组合。

下面的代码带有玩具示例数据

import numpy as np
import pandas as pd
import cvxpy as cvx

N = 256
N_SAMPLES = 2**10
N_AGENCIES = 16

static_data = {'style':np.random.randint(4, size=N), 'agency':np.random.randint(N_AGENCIES, size=N), 'hourly_rate':np.random.normal(160, 32, size=N).astype(np.int)}
df = pd.DataFrame(static_data)
#df.head()

S = np.random.randn(N,N)
cov = S.dot(S.T)
cov = np.divide(np.divide(cov, np.sqrt(np.diag(cov).reshape(-1,1))), np.sqrt(np.diag(cov).reshape(1,-1)))
mu = static_data['hourly_rate']
mu = (mu - mu.mean())/mu.std()
samples = np.random.multivariate_normal(mu, cov, size=N_SAMPLES)
#samples.shape


HOURLY_BUDGET = 1000
REQUIRED_STYLES = np.array([3, 2, 1, 4])
MAX_PER_AGENCY = 2
M_AGENCIES = np.eye(N_AGENCIES)[df['agency']].astype(np.int)
M_STYLES = np.eye(4)[df['style']].astype(np.int)

### Optimization in cvxPy
selection = cvx.Variable(N, boolean=True)
utility = samples@selection
total_utility = cvx.sum(utility)
avg_utility = total_utility / utility.size
utility_over_avg = utility - avg_utility
risk = cvx.norm(utility_over_avg, 2)

constraint_number = cvx.sum(selection)==np.sum(REQUIRED_STYLES)
constraint_styles = selection@M_STYLES == REQUIRED_STYLES
constraint_agencies = cvx.max( selection@M_AGENCIES ) <= MAX_PER_AGENCY
constraint_budget = cvx.sum( selection*df['hourly_rate'].values ) <= HOURLY_BUDGET
constraints = [constraint_number, constraint_styles, constraint_agencies, constraint_budget]

alpha_value = 0.01
alpha = cvx.Parameter(pos=True, value=alpha_value)
prob = cvx.Problem(cvx.Maximize(total_utility - risk*alpha), constraints=constraints)

prob.solve(solver='ECOS_BB')
print( 'solverName', prob.solver_stats.solver_name )
print( 'solverStatus', prob.status )

selected_flags = selection.value.round().astype(np.bool)
print( selected_flags.dot(M_STYLES).astype(np.int), selected_flags.dot(M_AGENCIES).max(), selected_flags.dot(df['hourly_rate']) )
print( df.loc[selected_flags] )

这在 cvxpy 中有效,我得到了解决方案。但是,当我将 alpha_value 增加到更高的数字以更多地惩罚相关性时,ECOS_BB 需要很长时间。在我的真实代码中,解决或返回不可行需要> 24小时。在实际代码中,较低的 alpha_value 值会在 2-5 分钟内解决。真实数据有 8000 个样本,大约 150 个候选者,以及相同的约束设置。

如果我尝试使用 solver='CBC' 那么它会立即失败并显示错误消息

SolverError: Either candidate conic solvers (['CBC']) do not support the cones output by the problem (SOC), or there are not enough constraints in the problem.

几个问题:

  • CBC 总体上是否优于 ECOS_BB?
  • 是否有其他免费求解器 我可以使用它可能更适合?
  • 我可以重新制定 CBC会起作用的问题吗?如果我消除风险,它会正常工作 并针对平均效用进行优化。
  • 我可以重新制定 ECOS_BB 更快?

【问题讨论】:

    标签: python optimization cvxpy


    【解决方案1】:

    让我试着回答你的个别问题。

    • CBC 总体上是否优于 ECOS_BB? 是的,ECOS_BB 仅适用于非常小的玩具问题。 CBC 在线性 MIP 模型方面要先进得多。但是您的模型不是线性的,因此 CBC 不是解决您问题的正确方法。您正在尝试解决 MISOCP/MIQP 问题。
    • 我可以使用其他更适合的免费求解器吗? 取决于。如果您是学者,您可以免费使用 Cplex 或 Gurobi。如果您不是学者,这些求解器很昂贵。除了 ECOS_BB,我不知道开源 MISOCP/MIQP 求解器。有可以求解 MIQP 的开源 MINLP 求解器(但 CVXPY 不支持这些求解器)。
    • 我可以重新表述问题以使 CBC 起作用吗?如果我消除风险并仅针对平均效用进行优化,则效果很好。 (1) 可能,但并不那么容易。可以写下 KKT 条件并形成 MIP。可能是一种切割平面策略可能会奏效。此外,当我们对二进制变量进行优化时,可以线性化事物(如果x 是二进制,则x'Qx 可以线性化)。无论如何:这都需要一些工作,并且可能不值得付出努力。 (2) 是的,如果您消除风险,模型将变为线性。 CBC 可以解决这个线性模型。
    • 我可以重新制定使 ECOS_BB 更快吗?我不知道。同样,ECOS_BB 不是一个强大的求解器。它对于概念验证模型可能已经足够好(当然这本身就很有价值),但对于任何实际工作,我会考虑其他求解器。

    【讨论】:

      猜你喜欢
      • 2021-10-02
      • 1970-01-01
      • 2020-08-01
      • 1970-01-01
      • 1970-01-01
      • 2018-07-31
      • 1970-01-01
      • 1970-01-01
      • 2023-03-14
      相关资源
      最近更新 更多