【问题标题】:GBM handling factor variables, worried about too many factorsGBM处理因素变量,担心因素太多
【发布时间】:2019-03-15 01:12:11
【问题描述】:

我正在研究一个篮球模型,该模型根据 NBA 球员在本赛季之前所有比赛中的表现来预测他们在下一场比赛中的表现。每支 NBA 球队大约有 10 名球员,30 支球队中的每支球队本赛季都打了大约 25 场比赛,所以我的数据框此时有大约 10*30*25 = 7,500 个观察值。我每天运行我的模型,预测玩家在第二天的表现——因此,明天我将进行大约 10*30 = 300 次预测。

我的问题是——目前我有大约 50 个列/特征/x 变量用于预测,所有这些都是数字变量(平均得分、平均篮板数等)。但是,我认为这可能有助于我的模型了解每行对应的玩家。也就是说,我想传递第 51 列,一个包含球员姓名的因子变量。我在网上读到 GBM 可以处理因子变量,因为它会在内部“虚拟化”它们,但是我担心“虚拟化”300 个不同的玩家不会表现良好。传递一个包含所有玩家名称的因子变量会适得其反并最终损害我的模型,因为它将在内部创建大量虚拟变量,或者这样可以吗?

my_df                        
                        PLAYER FG FGA X3P X3PA FT FTA
1042            Andre Drummond  6  16   0    0  6  10
17747            Marcus Morris  6  19   1    4  5   6
14861 Kentavious Caldwell-Pope  7  14   4    7  3   3
7976            Ersan Ilyasova  6  12   3    6  1   2
22401           Reggie Jackson  4  10   2    4  5   5
24475          Stanley Johnson  3  10   1    3  0   0
24649              Steve Blake  1   6   1    5  0   0
12489              Jodie Meeks  1   4   0    0  0   0
1955               Aron Baynes  3   5   0    0  0   0
21500             Paul Millsap  7  15   2    6  3   4

【问题讨论】:

  • 这部分我不清楚:“我认为这可能有助于我的模型知道每行对应于哪个玩家”。否则您的模型将不知道为谁做出预测?您可以发布您的数据的代表性样本吗?一般来说,GBM 可以处理分类变量,但我不确定您是否需要一个。
  • 我附上了一个简短的示例,说明我的数据框的外观。我正在考虑将 PLAYER 列作为因素传递给 GBM。
  • 我知道我可以测试它并查看性能,但我试图直观地理解 GBM 创建 300 个虚拟变量来表示一列将如何影响模型

标签: machine-learning gbm


【解决方案1】:

我在 gbm 中使用了具有大量级别的因子变量,您将面临的最大问题是您的计算时间将显着增加。(这对于您的情况可能不是问题,因为您正在使用的数据集很小)此外,当您绘制变量重要性时

gbm_model <- train(A0 ~ ., 
                 data = training, 
                 method="gbm",
                 distribution = "bernoulli",
                 metric="ROC",
                 maximise=TRUE,
                 tuneGrid=grid,
                 train.fraction = 0.6,
                 trControl=ctrl) 
ggplot(varImp(gbm_model, scale=TRUE))

每个因素水平都单独显示,这会使评估重要性变得非常混乱。

除此之外,您还提到您有 7,500 个观察值、50 个特征和 300 个不同的玩家。如果您考虑将玩家名称添加为变量,这意味着每个玩家大约 25 个 obs,这是一个非常小的样本,可能意味着您的模型不能很好地泛化。所以我个人的建议是不要这样做。

但是,我明白您为什么要这样做,并建议您尝试对玩家进行聚类(使用特定于玩家的标准,甚至可能使用您已经拥有的某些功能),然后使用玩家所属的集群作为一个变量。

希望这会有所帮助! :)

【讨论】:

    【解决方案2】:

    我对函数 gbm 有同样的问题,例如我添加了一个具有 100 个级别的随机因子,它显示为最具影响力的变量。

    【讨论】:

      猜你喜欢
      • 2015-03-24
      • 1970-01-01
      • 2015-06-09
      • 2021-12-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-03-07
      相关资源
      最近更新 更多