有没有办法为 xgboost 分类器设置不同的类权重？例如，在 sklearn RandomForestClassifier 中，这是由“class_weight”参数完成的。
【问题讨论】：
标签： scikit-learn xgboost
使用 sklearn 包装器时，有一个权重参数。
示例：
import xgboost as xgb
exgb_classifier = xgboost.XGBClassifier()
exgb_classifier.fit(X, y, sample_weight=sample_weights_data)
其中参数应该是数组，长度N，等于目标长度
【讨论】：
fit
适用于 sklearn 版本
只需为您的火车数据的每个条目分配其类别权重。首先使用 sklearn 的class_weight.compute_class_weight 获取类权重，然后为每一行训练数据分配适当的权重。
我在这里假设火车数据的列class 包含班级编号。我还假设有从 1 到 nb_classes 的 nb_classes。
from sklearn.utils import class_weight
classes_weights = list(class_weight.compute_class_weight('balanced',
np.unique(train_df['class']),
train_df['class']))
weights = np.ones(y_train.shape[0], dtype = 'float')
for i, val in enumerate(y_train):
weights[i] = classes_weights[val-1]
xgb_classifier.fit(X, y, sample_weight=weights)
更新 sklearn 版本 >= 0.19
有更简单的解决方案
from sklearn.utils import class_weight
classes_weights = class_weight.compute_sample_weight(
class_weight='balanced',
y=train_df['class']
)
xgb_classifier.fit(X, y, sample_weight=classes_weights)
【讨论】：
fit方法。
我最近遇到了这个问题，所以想到会留下我尝试过的解决方案
from xgboost import XGBClassifier
# manually handling imbalance. Below is same as computing float(18501)/392318
on the trainig dataset.
# We are going to inversely assign the weights
weight_ratio = float(len(y_train[y_train == 0]))/float(len(y_train[y_train ==
1]))
w_array = np.array([1]*y_train.shape[0])
w_array[y_train==1] = weight_ratio
w_array[y_train==0] = 1- weight_ratio
xgc = XGBClassifier()
xgc.fit(x_df_i_p_filtered, y_train, sample_weight=w_array)
不确定，为什么，但结果非常令人失望。希望这对某人有所帮助。
[参考链接]https://www.programcreek.com/python/example/99824/xgboost.XGBClassifier
【讨论】：
这里的答案已经过时了。不再支持 sample_weight 参数。它被 scale_pos_weight 取代
而只是做 scale_pos_weight = sum(negative instances) / sum(positive instances)
【讨论】：
from sklearn.utils.class_weight import compute_sample_weight
xgb_classifier.fit(X, y, sample_weight=compute_sample_weight("balanced", y))
【讨论】：
您也可以使用scale_pos_weight 超参数，如XGBoost docs 中所述。这种方法的优点是不必构造样本权重向量，也不必在fit时间传入样本权重向量。
【讨论】：
类似于@Firas Omrane 和@Pramit 的回答，但我认为它更像是pythonic
from sklearn.utils import class_weight
class_weights = dict(
zip(
[0,1],
class_weight.compute_class_weight(
'balanced', classes=np.unique(train['class']), y=train['class']
),
)
)
xgb_classifier.fit(X, train['class'], sample_weight=class_weights)
【讨论】：
class_weights 的格式不是xgb 所期望的。您能否详细说明是否需要做任何额外的工作才能使其正常工作？谢谢