从集合中返回中间的 n（值不是索引）

Question

我有一个List<int>，我需要删除异常值，所以我想使用一种只取中间 n 的方法。我想要中间的值，而不是索引。

例如，给定以下列表，如果我想要中间的 80%，我希望删除 11 和 100。

11,22,22,33,44,44,55,55,55,100。

在 LINQ 中是否有一种简单/内置的方法可以做到这一点？

Answer 1

我有一个List<int>，我需要删除异常值，所以我想使用一种只取中间 n 的方法。我想要中间的值，而不是索引。

正确去除异常值完全取决于准确描述数据分布的统计模型——您没有提供给我们。

假设它是一个正态（高斯）分布，这就是你想要做的。

首先计算 mean。这很简单;它只是总和除以项目数。

其次，计算标准差。标准差是衡量数据在均值附近的“分散”程度。计算方式：

• 取每个点与平均值的差
• 平方差
• 取平方的平均值——这就是方差
• 取方差的平方根 -- 这是标准差

在正态分布中，80% 的项目在均值的 1.2 个标准差范围内。因此，例如，假设平均值为 50，标准差为 20。您预计 80% 的样本将落在 50 - 1.2 * 20 和 50 + 1.2 * 20 之间。然后您可以从列表中过滤掉项目超出该范围。

但是请注意，这不是删除“异常值”。这是删除与平均值相差超过 1.2 个标准差的元素，以便在平均值附近获得 80% 的区间。在正态分布中，人们希望定期看到“异常值”。 99.73% 的项目在均值的三个标准差范围内，这意味着如果您有 1000 个观察值，看到两个或三个观察值超过均值之外的三个标准差是完全正常的！事实上，在给定一千个观测值的情况下，如果有 5 个观测值与平均值相差超过三个标准差，则可能并不表示异常值。

我认为您需要非常仔细地定义 异常值 的含义，并描述您尝试消除它们的原因。看起来像异常值的事物可能根本不是异常值，它们是您应该关注的真实数据。

另外，请注意，如果正态分布不正确，则这些分析都不正确！当你实际上把整个统计模型弄错时，你可能会遇到很大的麻烦来消除看起来像异常值的东西。如果模型比正态分布更“重”，则异常值很常见，实际上并不是异常值。当心！如果您的分布不正常，那么您需要告诉我们分布是什么，然后我们才能推荐如何识别异常值并消除它们。

Answer 2

您可以使用Enumerable.OrderBy 方法对列表进行排序，然后使用Enumerable.Skip 和Enumerable.Take 函数，例如：

var result = nums.OrderBy(x => x).Skip(1).Take(8);

nums 是您的整数列表。

如果您只想要“中间的n 值”，那么确定将哪些值用作Skip 和Take 的参数应该如下所示：

nums.OrderBy(x => x).Skip((nums.Count - n) / 2).Take(n);

但是，当(nums.Count - n) / 2 的结果不是整数时，您希望代码表现如何？

Answer 3

假设你没有做任何加权平均有趣的事情：

List<int> ints = new List<int>() { 11,22,22,33,44,44,55,55,55,100 };

int min = ints.Min();
double range = (ints.Max() - min);

var results = ints.Select(o => new { IntegralValue = o, Weight = (o - ints.Min()) / range} );

results.Where(o => o.Weight >= .1 && o.Weight < .9);

然后，您可以根据需要过滤权重。根据需要删除顶部/底部 n%。

在你的情况下：

results.Where(o => o.Weight >= .1 && o.Weight < .9)

编辑：作为扩展方法，因为我喜欢扩展方法：

public static class Lulz
{
    public static List<int> MiddlePercentage(this List<int> ints, double Percentage)
    {
        int min = ints.Min();
        double range = (ints.Max() - min);

        var results = ints.Select(o => new { IntegralValue = o, Weight = (o - ints.Min()) / range} );

        double tolerance = (1 - Percentage) / 2;
        return results.Where(o => o.Weight >= tolerance && o.Weight < 1 - tolerance).Select(o => o.IntegralValue).ToList();
    }
}

用法：

List<int> ints = new List<int>() { 11,22,22,33,44,44,55,55,55,100 };
var results = ints.MiddlePercentage(.8);

Answer 4

通常，如果您想从一组值中排除统计异常值，您需要计算该组的算术平均值和标准差，然后删除比您想要的距离平均值更远的值（以标准测量偏差）。正态分布（经典的钟形曲线）具有以下特性：

• 大约 68% 的数据与平均值相差 +/- 1 个标准差。
• 大约 95% 的数据与平均值相差 +/- 2 个标准差。
• 大约 99.7% 的数据将位于平均值的 +/- 3 个标准差范围内。

您可以在http://www.codeproject.com/KB/linq/LinqStatistics.aspx 获得用于计算标准差（和其他统计函数）的 Linq 扩展方法

Answer 5

我不会质疑计算异常值的有效性，因为我也有类似的需要来进行这种选择。取中间n的具体问题的答案是：

List<int> ints = new List<int>() { 11,22,22,33,44,44,55,55,55,100 };
var result = ints.Skip(1).Take(ints.Count() - 2);

这会跳过第一项，并在最后一项之前停止，只给你中间的 n 项。这是演示此查询的 .NET Fiddle 的链接。

https://dotnetfiddle.net/p1z7em

Answer 6

我有一个列表，我需要删除异常值，所以我想使用一种只取中间 n 的方法。我想要中间的值，而不是索引。

如果我理解正确，我们希望保留任何落在 11-100 范围的中间 80% 的值，或者

min + (max - min - (max - min) * 0.8) / 2 < x < max - (max - min - (max - min) * 0.8) / 2

假设一个有序列表，我们可以 SkipWhile 值低于lowerBound，然后 TakeWhile 值低于upperBound

public void Calculalte()
{
    var numbers = new[] { 11, 22, 22, 33, 44, 44, 55, 55, 55, 100 };

    var percentage = 0.8;

    var result = RemoveOutliers(numbers, percentage);
}

private IEnumerable<int> RemoveOutliers(int[] numbers, double percentage)
{
    int min = numbers.First();
    int max = numbers.Last();
    double range = (max - min);
    double lowerBound = min + (range - range * percentage) / 2;
    double upperBound = max - (range - range * percentage) / 2;
    return numbers.SkipWhile(n => n < lowerBound).TakeWhile(n => n < upperBound);   
}