【问题标题】:Linear Programing- Max value optimization线性规划 - 最大值优化
【发布时间】:2021-01-29 00:56:38
【问题描述】:

我正在尝试找到可以最大化我的总和值的最佳组合,但它必须在 2 个特定约束下,因此我假设线性规划将是最合适的。

问题是这样的: 一些世界性的教育活动希望聚集世界上最聪明的青少年学生。 每个州都在以下考试中测试了 10 万名学生:“数学”、“英语”、“计算机”、“历史”、“物理”.. 并且每门考试的评分为 0-100。

每个州都被要求从测试的 100K 学生中发送他们最好的 10K 参加此次活动。

您作为法国代表,被要求从您所在国家/地区的 100K 学生中选出前 10K 名学生。为此,您需要优化他们的 MAX VALUE 以获得最佳的 TOTAL SCORE。

但有 2 个主要限制:

1- 从总共 10,000 名选定的学生中,您需要分配特定学生,这些学生将在上述 5 门科目中仅针对 1 门特定科目进行测试。 需要的分配是:['MATH': 4000, 'ENGLISH':3000,'COMPUTERS':2000, 'HISTORY':750,'PHYSICS':250]

2- 每个“考试科目”分数的权重都必须不同。因为 exp:97 是数学在历史上的价值超过 97。 重量是:['数学':1.9,'英语':1.7,'计算机':1.5,'历史':1.3,'物理':1.1]

我的解决方案: 我尝试将 PULP (python) 用作 LP 库并正确解决它,但运行时间超过 2 小时。 你能找到更好(更快、更简单..)的方法来解决它吗? 有一些 NUMPY LP 函数可以代替使用,也许会更快? 它应该是一个简单的优化问题,因为我让它变得太慢和复杂。 --请仅使用 Python 解决方案

例如,让我们从小范围内看一下同一个问题: 有 30 名学生,您只需要选择 15 名学生,这将为我们提供与以下学科分配需求相关的最佳组合。 所需的分配是- ['MATH': 5, 'ENGLISH':4,'COMPUTERS':3, 'HISTORY':2,'PHYSICS':1]

这是所有 30 名学生和他们的成绩:

运行算法后,输出解为:

这是我原始问题的完整代码(100K 学生):

import pandas as pd
import numpy as np
import pulp as p
import time    
t0=time.time()

demand = [4000, 3000, 2000, 750,250]
weight = [1.9,1.7, 1.5, 1.3, 1.1]


original_data= pd.read_csv('GRADE_100K.csv') #created simple csv file with random scores
data_c=original_data.copy()
data_c.index = np.arange(1, len(data_c)+1)
data_c.columns
data_c=data_c[['STUDENT_ID', 'MATH', 'ENGLISH', 'COMPUTERS', 'HISTORY','PHYSICS']]

#DataFrame Shape
m=data_c.shape[1]
n=data_c.shape[0]

data=[]
sublist=[]
for j in range(0,n):
    for i in range(1,m):
        sublist.append(data_c.iloc[j,i])
    data.append(sublist)
    sublist=[]


def _get_num_students(data):
    return len(data)


def _get_num_subjects(data):
    return len(data[0])


def _get_weighted_data(data, weight):
    return [
        [a*b for a, b in zip(row, weight)]
        for row in data
    ]



data = _get_weighted_data(data, weight)
num_students = _get_num_students(data)
num_subjects = _get_num_subjects(data)

# Create a LP Minimization problem
Lp_prob = p.LpProblem('Problem', p.LpMaximize)

# Create problem Variables
variables_matrix = [[0 for i in range(num_subjects)] for j in range(num_students)]
for i in range(0, num_students):
    for j in range(0, num_subjects):
        variables_matrix[i][j] = p.LpVariable(f"X({i+1},{j+1})", 0, 1, cat='Integer')


df_d=pd.DataFrame(data=data)
df_v=pd.DataFrame(data=variables_matrix)

ml=df_d.mul(df_v)

ml['coeff'] = ml.sum(axis=1)

coefficients=ml['coeff'].tolist()


# DEALING WITH TARGET FUNCTION VALUE

suming=0
k=0
sumsum=[]
for z in range(len(coefficients)):
    suming +=coefficients[z] 
    if z % 2000==0:
        sumsum.append(suming) 
        suming=0
if z<2000:
    sumsum.append(suming) 

sumsuming=0
for s in range(len(sumsum)):
    sumsuming=sumsuming+sumsum[s]        

Lp_prob += sumsuming   



# DEALING WITH the 2 CONSTRAINS

# 1-subject constraints

con1_suming=0
for e in range(num_subjects):
    L=df_v.iloc[:,e].to_list() 
    for t in range(len(L)):
        con1_suming +=L[t]
    Lp_prob += con1_suming <= demand[e] 
    con1_suming=0 


 # 2- students constraints

con2_suming=0
for e in range(num_students):
    L=df_v.iloc[e,:].to_list() 
    for t in range(len(L)):
        con2_suming +=L[t]
    Lp_prob += con2_suming <= 1 
    con2_suming=0        
print("time taken for TARGET+CONSTRAINS %8.8f seconds" % (time.time()-t0) )


t1=time.time()

status = Lp_prob.solve()  # Solver
print("time taken for SOLVER %8.8f seconds" % (time.time()-t1) )  # 632 SECONDS
print(p.LpStatus[status])  # The solution status
print(p.value(Lp_prob.objective))



df_v=pd.DataFrame(data=variables_matrix)


# Printing the final solution
lst=[]
val=[]

for i in range(0, num_students):
    lst.append([p.value(variables_matrix[i][j]) for j in range(0, num_subjects)])
    val.append([sum([p.value(variables_matrix[i][j]) for j in range(0, num_subjects)]),i])


ones_places=[]
for i in range (0, len(val)):
    if val[i][0]==1:
        ones_places.append(i+1)       
len(ones_places)  


data_once=data_c[data_c['STUDENT_ID'].isin(ones_places)]

IDs=[]
for i in range(len(ones_places)):
    IDs.append(data_once['STUDENT_ID'].to_list()[i])

course=[]
sub_course=[]
for i in range(len(lst)):
    j=0
    sub_course='x'
    while j<len(lst[i]):
        if lst[i][j]==1:
           sub_course=j 
        j=j+1
    course.append(sub_course)

coures_ones=[]
for i in range(len(course)):
    if course[i]!= 'x':
        coures_ones.append(course[i])     

# adding the COURSE name to the final table
# NUMBER OF DICTIONARY KEYS based on number of COURSES      
col=original_data.columns.values[1:].tolist()   
dic = {0:col[0], 1:col[1], 2:col[2], 3:col[3], 4:col[4]}
cc_name=[dic.get(n, n) for n in coures_ones]
     
one_c=[]
if len(IDs)==len(cc_name):
    for i in range(len(IDs)):
        one_c.append([IDs[i],cc_name[i]])

prob=[] 
if len(IDs)==len(cc_name):
    for i in range(len(IDs)):
        prob.append([IDs[i],cc_name[i], data_once.iloc[i][one_c[i][1]]])

scoring_table = pd.DataFrame(prob,columns=['STUDENT_ID','COURES','SCORE'])
scoring_table.sort_values(by=['COURES', 'SCORE'], ascending=[False, False], inplace=True)
scoring_table.index = np.arange(1, len(scoring_table)+1)


print(scoring_table)

【问题讨论】:

  • 看一眼,这似乎是很多价值,但约束相对较少,所以我想无论你做什么都需要很长时间。
  • 您好,谢谢!你会建议不同的方法然后线性规划吗?外部想法可能会改善它吗?
  • 我不清楚。你想要作为第 1 步:就考试总分选出 10k 最好的学生(以sum 作为汇总函数)和第 2 步:创建可能的最佳组 [4k、3k、2k、1k、0.5k](警告在这里它们是重复的)以最大化您所在国家/地区的每次加权考试的分数?
  • 嗨!它假设是在 1 个步骤上完成的。你应该从 100K 中选择 10K 学生,并从 5 个可能的科目中为每个学生选择一种要测试的科目。主要目标是选择 10K 学生中最好的组合,并为他们提供最好的考试科目(与他们在考试中获得的分数有关..)。可能的最佳组合将最大化可能的分值。
  • 我有两个问题:1. 你说你需要 10,000 名学生每人参加一次考试,但你列出的考试分配总和超过 10,000。这只是一个错字,还是那些考试分配是一个上限,而不是严格的平等。 2. PulP 使用什么求解器?您指定的问题是线性的,但求解器可能会被整数约束绊倒。这实际上是一个网络/分配优化问题,因此该结构可能允许您在没有整数约束的情况下求解,并且如果边界和系数都是整数,则仍然可以获得整数值。

标签: python pandas optimization linear-programming maximize


【解决方案1】:

这里有一些关于我使用最小成本流的想法。

我们通过一个有 4 层的有向图来建模这个问题,其中每一层都与下一层完全连接。

节点

  • 第一层:单个节点 s 将成为我们的源。

  • 第二层:每个学生一个节点。

  • 第三层:每个主题一个节点。

  • 第四层:OA单节点t这将是我们的排水管。

边缘容量

  • 第一 -> 第二:所有边的容量为 1。

  • 第二 -> 第三:所有边的容量为 1。

  • 第三 -> 第四:所有边的容量与必须分配给该学科的学生人数相对应。

边缘成本

  • 第一 -> 第二:所有边的成本为 0。

  • 第二 -> 第三:记住这一层的边缘将学生与学科联系起来。这些费用将与学生在该科目上的加权分数成反比。 cost = -subject_weight*student_subject_score.

  • 第三 -> 第四:所有边的成本为 0。

然后我们要求从st 的流量等于我们必须选择的学生数量。

为什么会这样?

通过将第三层和第四层之间的所有边作为分配,最小成本流问题的解决方案将对应于您的问题的解决方案。

每个学生最多可以选择一门学科,因为对应的节点只有一个传入边。

每个学科都有准确的所需学生数量,因为传出容量对应于我们必须为该学科选择的学生数量,我们必须使用这些边缘的全部容量,因为我们无法满足流量需求否则。

MCF 问题的最小解决方案对应于您的问题的最大解决方案,因为成本对应于它们给出的值。

正如您在 python 中要求的解决方案,我使用 ortools 实现了最小成本流问题。在我的 colab 笔记本中找到解决方案不到一秒钟。需要“长时间”的是溶液的提取。但包括设置和解决方案提取在内,对于完整的 100000 个学生问题,我的运行时间仍然不到 20 秒。

代码

# imports
from ortools.graph import pywrapgraph
import numpy as np
import pandas as pd
import time
t_start = time.time()

# setting given problem parameters
num_students = 100000
subjects = ['MATH', 'ENGLISH', 'COMPUTERS', 'HISTORY','PHYSICS']
num_subjects = len(subjects)
demand = [4000, 3000, 2000, 750, 250]
weight = [1.9,1.7, 1.5, 1.3, 1.1]

# generating student scores
student_scores_raw = np.random.randint(101, size=(num_students, num_subjects))

# setting up graph nodes
source_nodes = [0]
student_nodes = list(range(1, num_students+1))
subject_nodes = list(range(num_students+1, num_subjects+num_students+1))
drain_nodes = [num_students+num_subjects+1]

# setting up the min cost flow edges
start_nodes = [int(c) for c in (source_nodes*num_students + [i for i in student_nodes for _ in subject_nodes] + subject_nodes)]
end_nodes   = [int(c) for c in (student_nodes + subject_nodes*num_students + drain_nodes*num_subjects)]
capacities  = [int(c) for c in ([1]*num_students + [1]*num_students*num_subjects + demand)]
unit_costs  = [int(c) for c in ([0.]*num_students + list((-student_scores_raw*np.array(weight)*10).flatten()) + [0.]*num_subjects)]
assert len(start_nodes) == len(end_nodes) == len(capacities) == len(unit_costs)

# setting up the min cost flow demands
supplies = [sum(demand)] + [0]*(num_students + num_subjects) + [-sum(demand)]

# initialize the min cost flow problem instance
min_cost_flow = pywrapgraph.SimpleMinCostFlow()
for i in range(0, len(start_nodes)):
  min_cost_flow.AddArcWithCapacityAndUnitCost(start_nodes[i], end_nodes[i], capacities[i], unit_costs[i])
for i in range(0, len(supplies)):
  min_cost_flow.SetNodeSupply(i, supplies[i])

# solve the problem
t_solver_start = time.time()
if min_cost_flow.Solve() == min_cost_flow.OPTIMAL:
  print('Best Value:', -min_cost_flow.OptimalCost()/10)
  print('Solver time:', str(time.time()-t_solver_start)+'s')
  print('Total Runtime until solution:', str(time.time()-t_start)+'s')
  
  #extracting the solution
  solution = []
  for i in range(min_cost_flow.NumArcs()):
    if min_cost_flow.Flow(i) > 0 and min_cost_flow.Tail(i) in student_nodes:
      student_id = min_cost_flow.Tail(i)-1
      subject_id = min_cost_flow.Head(i)-1-num_students
      solution.append([student_id, subjects[subject_id], student_scores_raw[student_id, subject_id]])
  assert(len(solution) == sum(demand))

  solution = pd.DataFrame(solution, columns = ['student_id', 'subject', 'score'])
  print(solution.head())
else:
  print('There was an issue with the min cost flow input.')

print('Total Runtime:', str(time.time()-t_start)+'s')

将上述代码中用于解决方案提取的 for 循环替换为以下列表理解(也不是每次迭代都使用列表查找),可以显着改善运行时间。但出于可读性原因,我也会将这个旧解决方案留在这里。这是新的:

  solution = [[min_cost_flow.Tail(i)-1, 
               subjects[min_cost_flow.Head(i)-1-num_students], 
               student_scores_raw[min_cost_flow.Tail(i)-1, min_cost_flow.Head(i)-1-num_students]
               ]
              for i in range(min_cost_flow.NumArcs())
              if (min_cost_flow.Flow(i) > 0 and 
                  min_cost_flow.Tail(i) <= num_students and 
                  min_cost_flow.Tail(i)>0)
              ]

以下输出给出了新的更快实现的运行时。

输出

Best Value: 1675250.7
Solver time: 0.542395830154419s
Total Runtime until solution: 1.4248979091644287s
   student_id    subject  score
0           3    ENGLISH     99
1           5       MATH     98
2          17  COMPUTERS    100
3          22  COMPUTERS    100
4          33    ENGLISH    100
Total Runtime: 1.752336025238037s

请指出我可能犯的任何错误。

我希望这会有所帮助。 ;)

【讨论】:

  • 我不认为这是一种有效的方法。除其他问题外,它似乎无法限制学生节点连接到多个测试。
  • 前两层之间的容量限制了学生拥有多个传入流。因此,通过流量守恒,他们也最多有一个流出的流量 - 防止它连接到多个主题。
【解决方案2】:

我认为你已经接近了这一点。这是一个相当标准的整数线性规划 (ILP) 分配问题。由于问题的结构,它会有点慢。

您没有在帖子中说明设置和解决时间的细分。我看到您正在从文件中读取并使用熊猫。我认为 pandas 在优化问题上很快就会变得笨拙,但这只是个人喜好。

我使用cbc 求解器将您的问题编码到pyomo 中,我很确定它与pulp 用于比较的相同。 (见下文)。我认为你有 2 个约束和一个双索引二元决策变量是正确的。

如果我将它减少到 10K 学生(没有松弛......只是一对一配对),它会在 14 秒内解决以进行比较。我的设置是一个 5 岁的 iMac,有很多内存。

在池中有 100K 学生的情况下运行,它在大约 25 分钟内求解,在调用求解器之前有 10 秒的“设置”时间。所以我不太确定为什么你的编码需要 2 小时。如果您可以分解求解器时间,那将有所帮助。其余的应该是微不足道的。输出的时候我没有过多的戳,但是OBJ函数值980K似乎是合理的。

其他想法:

如果您可以正确配置求解器选项并将 mip 间隙设置为 0.05 左右,如果您可以接受稍微非最佳的解决方案,它应该会加快速度。对于像 Gurobi 这样的付费求解器,我只有在求解器选项方面运气不错。使用免费赠品求解器 YMMV 时,我运气不佳。

import pyomo.environ as pyo
from random import randint
from time import time

# start setup clock
tic = time()
# exam types
subjects = ['Math', 'English', 'Computers', 'History', 'Physics']

# make set of students...
num_students = 100_000
students = [f'student_{s}' for s in range(num_students)]

# make 100K fake scores in "flat" format
student_scores = { (student, subj) : randint(0,100) 
                        for student in students
                        for subj in subjects}

assignments = { 'Math': 4000, 'English': 3000, 'Computers': 2000, 'History': 750, 'Physics': 250}
weights = {'Math': 1.9, 'English': 1.7, 'Computers': 1.5, 'History': 1.3, 'Physics': 1.1}

# Set up model
m = pyo.ConcreteModel('exam assignments')

# Sets
m.subjects = pyo.Set(initialize=subjects)
m.students = pyo.Set(initialize=students)

# Parameters
m.assignments = pyo.Param(m.subjects, initialize=assignments)
m.weights =     pyo.Param(m.subjects, initialize=weights)
m.scores =      pyo.Param(m.students, m.subjects, initialize=student_scores)

# Variables
m.x = pyo.Var(m.students, m.subjects, within=pyo.Binary)  # binary selection of pairing student to test

# Objective
m.OBJ = pyo.Objective(expr=sum(m.scores[student, subject] * m.x[student, subject] 
                for student in m.students
                for subject in m.subjects), sense=pyo.maximize)

### Constraints ###
# fill all assignments
def fill_assignments(m, subject):
    return sum(m.x[student, subject] for student in m.students) == assignments[subject]
m.C1 = pyo.Constraint(m.subjects, rule=fill_assignments)

# use each student at most 1 time
def limit_student(m, student):
    return sum(m.x[student, subject] for subject in m.subjects) <= 1
m.C2 = pyo.Constraint(m.students, rule=limit_student)

toc = time()
print (f'setup time: {toc-tic:0.3f}')
tic = toc

# solve it..
solver = pyo.SolverFactory('cbc')
solution = solver.solve(m)
print(solution)
toc = time()
print (f'solve time: {toc-tic:0.3f}')

输出

setup time: 10.835

Problem: 
- Name: unknown
  Lower bound: -989790.0
  Upper bound: -989790.0
  Number of objectives: 1
  Number of constraints: 100005
  Number of variables: 500000
  Number of binary variables: 500000
  Number of integer variables: 500000
  Number of nonzeros: 495094
  Sense: maximize
Solver: 
- Status: ok
  User time: -1.0
  System time: 1521.55
  Wallclock time: 1533.36
  Termination condition: optimal
  Termination message: Model was solved to optimality (subject to tolerances), and an optimal solution is available.
  Statistics: 
    Branch and bound: 
      Number of bounded subproblems: 0
      Number of created subproblems: 0
    Black box: 
      Number of iterations: 0
  Error rc: 0
  Time: 1533.8383190631866
Solution: 
- number of solutions: 0
  number of solutions displayed: 0

solve time: 1550.528

【讨论】:

  • 我不认为 mip 间隙对这个模型有帮助,因为它基本上是 LP 而不是 MIP(分配问题自动提供整数解),
  • 好点。这个角度我没有想过。使用相同的构造并更改为实值决策变量,我将求解时间缩短到大约 450 秒
  • number of solutions: 0 那一定是个bug。
  • 谢谢大家!这很有帮助!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2023-03-22
  • 2016-04-14
  • 1970-01-01
  • 1970-01-01
  • 2019-03-24
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多