从 C# 数组计算最小值、最大值、平均值、中值和标准差的最快方法是什么？

Question

我有一个更大的数组或未排序的双精度列表，我想以最有效的方式计算最小值、最大值、平均值、中值和标准差。当然，我可以简单地使用 Linq 来逐个计算，但我认为可以更快。示例代码：

var list = new List<double>(){1.0, 2.5, 0.11, 0.7, 8.2, 3.4, 1.0};
var (min, max, mean, median, std) = CalculateMetrics(list);

private (double, double, double, double, double) CalculateMetrics(List<double> list) {
    // TODO
}

那么最有效的方法是什么？使用库对我来说也很好。

Answer 1

您想要的所有描述性统计除了中位数都可以通过您的list 一次性计算出来。获得标准差的诀窍是累积样本的总和和平方和。这是一个例子。

int count = 0;
double sum = 0.0;
double sumsq = 0.0;
double max = double.MinValue;
double min = double.MaxValue;

foreach (double sample in list)
{
    count++;
    sum += sample;
    sumsq += sample * sample;
    if (sample > max) max = sample;
    if (sample < min) min = sample;
}

double mean = sum / count;
double stdev = Math.Sqrt((sumsq / count) - (mean * mean));

因为这只会通过列表一次，所以它适用于任何IEnumerable 样本集合，并且与 LINQ 兼容。

显然，这是快速不脏的示例代码。我把它留给你把它构建成一个有用的功能。

它将对空的list 进行除法检查。而且，如果您有非常大的数字或非常长的列表，那么计算 stdev 时的减法可能会丢失精度并返回一个无用的数字。

但它适用于大多数应用程序。

Answer 2

因为要求中位数而标准差需要平均值，所以在 O(n) 中很难做到。

这是我最好的尝试：

private (double min, double max, double mean, double median, double std) CalculateMetrics(List<double> list)
{
    var mean = list.Average();
    var std = Math.Sqrt(list.Aggregate(0.0, (a, x) => a + (x - mean) * (x - mean)) / list.Count());
    var sorted = list.OrderBy(x => x).ToList();
    var median = sorted.Count % 2 == 0 ? (sorted[sorted.Count / 2 - 1] + sorted[sorted.Count / 2]) / 2 : sorted[sorted.Count / 2];
    return (sorted.First(), sorted.Last(), mean, median, std);
}

Answer 3

O(2n) 解：

        private static (double, double, double, double, double) CalculateMetrics(double[] list)
        {
            if (list.Length < 1)
            {
                throw new Exception();
            }

            double min = list[0];
            double max = list[0];
            double median = list[list.Length / 2];

            double sum = 0;
            foreach (double el in list)
            {
                if (el > max)
                {
                    max = el;
                }
                if (el < min)
                {
                    min = el;
                }

                sum += el;
            }

            double mean = sum / list.Length;

            double sumStd = 0;
            foreach (var el in list)
            {
                sumStd += Math.Pow(el - mean, 2) / list.Length;
            }
            double stdDev = Math.Sqrt(sumStd);

            return (min, max, mean, median, stdDev);
        }