【问题标题】:Pandas DataFrame: Compute values based on column min/maxPandas DataFrame:根据列 min/max 计算值
【发布时间】:2016-08-18 22:07:58
【问题描述】:

我有一个 NxN DataFrame,其值需要缩放到表示重要性的值范围,其中 0 无关紧要,而 3 非常重要。

我用来缩放的公式当然取决于每列中的最小值和最大值,这对于每列都不同:A 列的范围可能是 1-12,而 B 列的范围可能是 1M 到 45M。

这是我正在使用的公式。

min_importance + ((max_importance - min_importance) / (max_spec_value - min_spec_value)) * (spec_value - min_spec_value)

如何为每一列创建一个新的 DataFrame 或字典,同时保留索引,以便稍后进行识别?

我尝试使用上面的公式创建一个函数,并使用 apply() 为每一行调用函数,但我无法将列 min/max 传递给函数,所以这不起作用。

DataFrame 示例(“Body:零售价”和“Body:传感器分辨率”为列):

 Body:零售价 Body:传感器分辨率
身体名称
尼康 D500 2000.00 20668416
尼康 D7000 1200.00 16084992
索尼阿尔法 7R II 3199.00 42177408
佳能 EOS 5D Mark III 3499.00 22118400
佳能 7D Mark II 1799.00 19961856
iPhone 6(正面) 699.00 1000000
iPhone 6(背面)699.00 7990272
富士 X-T1 1299.95 15980544
富士 X-T2 1599.00 24000000

【问题讨论】:

  • 你能用pd.cut给每一列分配bin吗?
  • 您可以发布您的 DataFrame 示例吗?
  • @ayhan 我将示例添加到原始问题中。
  • @JonClements 这似乎是可能的,但由于每列的可能值范围不同,需要映射到 0-3,我该怎么做?
  • 但这不是NxN吗?这是您拥有最大/最小重要性和规格值的数据框吗?您将如何将该公式手动应用于此数据框?

标签: python dataframe


【解决方案1】:

最小-最大归一化可以通过:

(df - df.min()) / (df.max() - df.min())
Out: 
                       Body: retail price  Body: sensor resolution
Body name                                                         
Nikon D500                       0.464643                 0.477651
Nikon D7000                      0.178929                 0.366341
Sony Alpha 7R II                 0.892857                 1.000000
Canon EOS 5D Mark III            1.000000                 0.512864
Canon 7D Mark II                 0.392857                 0.460492
iPhone 6 (front)                 0.000000                 0.000000
iPhone 6 (rear)                  0.000000                 0.169760
Fujifilm X-T1                    0.214625                 0.363805
Fujifilm X-T2                    0.321429                 0.558559

您不需要申请。 df.min() 将返回一个系列,在执行 df - df.min() 时,pandas 将从每个值中减去相应列的最小值。这称为广播,它使任务更容易。

如果每列的重要性级别不同,最好将其存储在数据框中:

importances = pd.DataFrame({'max_imp': [1, 3], 'min_imp': [0, 0]}, index= df.columns)
importances
Out: 
                         max_imp  min_imp
Body: retail price             1        0
Body: sensor resolution        3        0

现在用同样的原理,你可以调整你的公式:

importances['min_imp'] + ((importances['max_imp'] - importances['min_imp']) / (df.max() - df.min())) * (df - df.min())
Out: 
                       Body: retail price  Body: sensor resolution
Body name                                                         
Nikon D500                       0.464643                 1.432952
Nikon D7000                      0.178929                 1.099024
Sony Alpha 7R II                 0.892857                 3.000000
Canon EOS 5D Mark III            1.000000                 1.538591
Canon 7D Mark II                 0.392857                 1.381475
iPhone 6 (front)                 0.000000                 0.000000
iPhone 6 (rear)                  0.000000                 0.509280
Fujifilm X-T1                    0.214625                 1.091415
Fujifilm X-T2                    0.321429                 1.675676

注意importances 的索引和实际数据框的列应该匹配。在此示例中,第一列的范围转换为 [0-1],第二列的范围转换为 [0-3]。

【讨论】:

  • 太好了,我会试试这个并报告!
  • 效果很好,谢谢!我将查看广播以更好地了解 df 的工作方式。
  • 它如何知道将索引与列名匹配?
  • importances['max_imp'] - importances['min_imp'] 返回一系列包含零售价和传感器分辨率(每个范围)的索引。 (df.max() - df.min()) 还会再次返回具有相同索引的系列。不同的是我们如何进行操作。在第一个中,我们从另一列中减去一列 - 因此为每一行返回结果。但是在第二个中,我们从最大值中减去了列的最小值。现在结果是每一列。
  • 但两个结果都是熊猫系列,因此它们具有相同的索引。 Pandas 对匹配索引进行了操作。它不知道一个来自列,一个来自行。使用等式的较小部分可能更容易(例如先执行(df.max() - df.min()),然后执行importances['max_imp'] - importances['min_imp'],看看它是如何工作的。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-09-26
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-11-09
相关资源
最近更新 更多