【问题标题】:Python equivalent of Excel's PERCENTILE.EXCPython 等效于 Excel 的 PERCENTILE.EXC
【发布时间】:2016-11-30 11:15:18
【问题描述】:

我正在使用 Pandas 来计算一些金融风险分析,包括风险价值。简而言之,要计算风险价值 (VaR),您需要模拟投资组合价值变化的时间序列,然后计算特定的尾部百分位损失。例如,95% VaR 是该时间序列中的第 5 个百分位数。

我在 Pandas 数据框中有我的时间序列,目前正在使用 pd.quantile() 函数来计算百分位数。我的问题是,VaR 的典型市场惯例是使用排除百分位(即:95% VaR 被解释为:您的投资组合有 95% 的机会不会比计算出的数字更宽松) - 类似于 MS Excel PERECENTILE.EXC () 有效。 Pandas quantile() 的工作方式类似于 Excel 的 PERCENTILE.INC() 的工作方式 - 它包括指定的百分位数。我已经搜索了几个 python 数学包以及这个论坛,寻找一个 python 解决方案,它使用与 Excel 中的 PERCENTILE.EXC() 相同的方法,但没有运气。我希望这里有人可以提出建议?

这里是示例代码。

import pandas as pd
import numpy as np

test_pd = pd.Series([15,14,18,-2,6,-78,31,21,98,-54,-2,-36,5,2,46,-72,3,-2,7,9,34])
test_np = np.array([15,14,18,-2,6,-78,31,21,98,-54,-2,-36,5,2,46,-72,3,-2,7,9,34])

print 'pandas: ' + str(test_pd.quantile(.05))
print 'numpy: '+ str(np.percentile(test_np,5))

我正在寻找的答案是-77.4

谢谢,

瑞恩

【问题讨论】:

  • 是否可以提供您正在使用的输入数据的小示例、您当前使用pd.quantile 获得的输出以及您想要获得的输出示例?听起来numpy.percentile 会满足您的需求,但我会在不知道数据是什么样子的情况下发布答案。
  • 当然 - 我实际上已经尝试过了,numpy percentile 和 pandas quantile 都使用相同的方法 - 请参阅添加到原始帖子的新示例。在 Excel 中,此数组通过 PERCENTILE.INC 返回 -72,使用 PERCENTILE.EXC 返回 -77.4。我需要一个可以让我达到 -77.4 的 Python 解决方案

标签: python pandas statistics quantile


【解决方案1】:

编辑:我刚刚看到您的编辑。我认为你犯了一个错误。值 -77.4 实际上是数据的 99.5%。试试test_pd.quantile(.005)。我相信您在指定百分位数时一定是在 Excel 中犯了一个错误。

编辑 2:我自己在 Excel 中对其进行了测试。对于第 50 个百分位数,我在 Excel 和 Numpy/Pandas 中都得到了正确的值。然而,对于第 5 个百分位,我在 Pandas/Numpy 中得到 -72,在 Excel 中得到 -74.6。但是 Excel 在这里是错误的:很明显 -74.6 是第 0.5 个百分位数,而不是第 5 个......

最终编辑:经过一些测试,似乎 Excel 在使用 PERCENTILE.EXC() 函数的非常小的 k 值附近表现异常。实际上,使用任何 k PERCENTILE.EXC(0.5) = 6 和 test_pd.quantile(0.5) = 6 也是如此。我想教训是我们需要警惕 Excel 的行为;)。

我理解您的问题的方式是:您想知道与您的数据的第 k 个百分位数相对应的值,这个第 k 个百分位数不包括在内。但是,pd.quantile() 返回与您的第 k 个百分位数相对应的值,包括第 k 个百分位数。

我不认为 pd.quantile() 返回包含的第 k 个百分位数是一个问题。事实上,假设您希望所有股票的风险价值都严格高于 5%,您会这样做:

mask = data["VaR"] < pd.quantile(data["VaR"], 0.05)
data_filt = data[mask]

由于您使用了“小于”(

请告诉我这是否是您要找的。​​p>

【讨论】:

  • -77.4 确实是 Excel 中 PERCENTILE.EXC(array,0.05) 的结果,也恰好与 PERCENTILE.INC(array,0.005) 的结果相同。现在看看你的例子。
  • 是的,我刚刚测试过。我正在查看 Excel 文档:完全不清楚“独占”或“包容”是什么意思。换句话说,他们使用的阈值是多少? EXC(0.05) 等于 INC(0.049),还是等于哪个数字?对不起,我对 Excel 在这里的行为有点不知所措。最后编辑:当输入一个低于 0.05 的数字时,Excel 会返回错误,这意味着 EXC() 函数在非常小的值时必须是错误的。我的直觉是它认为 0.005 到 0.05 的“下一个”百分位数,这就是为什么它返回与 pd.quantile(0.005) 相同的值。
  • 同意 - 我不知道它是如何工作的。我在 PERCENTILE.INC 中使用了求解器函数,在这个特定的示例中,它使用了 0.00499939999999992,但是这个数字似乎随着数组长度的变化而变化。我希望它是提供的百分位数的一致百分比。
  • 确实很奇怪,求解器的巧妙方法。如果 Microsoft 有错误赏金计划,您可能需要提交此错误!我对可能受到这个奇怪问题影响的损益表或股票报告的数量感到不寒而栗;)。
  • 我认为 Excel 的 .EXC 版本的限制不是小值 ok k,而是短数组。我正在使用 PERCENTILE.EXC(array,0.01) 和更长的数组而没有错误 - 我想我需要找到更多关于 Excel 如何确定要排除的截止点的信息(如果可能的话)。
【解决方案2】:

它不会像 Pandas 自己的百分位数那么有效,但它应该可以工作:

def quantile_exc(ser, q):
    ser_sorted = ser.sort_values()
    rank = q * (len(ser) + 1) - 1
    assert rank > 0, 'quantile is too small'
    rank_l = int(rank)
    return ser_sorted.iat[rank_l] + (ser_sorted.iat[rank_l + 1] - 
                                     ser_sorted.iat[rank_l]) * (rank - rank_l)

ser = pd.Series([15,14,18,-2,6,-78,31,21,98,-54,-2,-36,5,2,46,-72,3,-2,7,9,34])

quantile_exc(ser, 0.05)
Out: -77.400000000000006

quantile_exc(ser, 0.1)
Out: -68.399999999999991

quantile_exc(ser, 0.3)
Out: -2.0

请注意,对于小百分位数,Excel 会失败;这不是一个错误。这是因为低于最小值的等级不适合插值。因此,您可能需要检查 quantile_exc 函数中的 rank 是否 > 0(参见断言部分)。

【讨论】:

  • 这完全符合预期!我使用超过 1,000 个不同的全长时间序列(每个 504 个观察值)对 Excel 进行了测试,它在 0.05 和 0.01 处都匹配。非常感谢。你知道这是否是 Excel 内置的确切方法吗?
  • 除了一些值检查,错误等,根据定义应该是相同的(例如这个不检查是否0Wikipedia中的第三个变种
  • 匹配 Excel 的公式已经让我疯了一个星期!这有很大帮助。谢谢。
猜你喜欢
  • 1970-01-01
  • 2012-06-28
  • 1970-01-01
  • 2023-03-26
  • 2011-07-09
  • 2011-09-16
  • 2021-12-18
  • 2016-08-04
  • 2017-04-25
相关资源
最近更新 更多