使用 R 计算数据集中每个组的正态性

Question

我有一个包含大约 7 个条目的数据集。假设它有 5 列：

Cust_Id(around 340 unique Ids), Expense_Type, Expense($), Income_Type and Income($).

我想检查通过统计分析确定的任何Cust_Id 组内的收入和费用的相对稳定性。

我使用R的summaryBy函数找出了数据的统计信息（均值、中位数、标准差）。

现在我想找到每组Cust_Id 的正态性。我使用了shapiro.test() 函数，但它会导致整个数据的正态性得分，而不是分组值的正态性得分。我是否在解决需求的正确道路上？我是这个领域的新手。请提出解决此问题的方法。

样本数据：

Cust_Id  Income_Type  Income  Expense_Type  Expense
10001    ABC          4356.89  XYZ          569.45
10003    DEF          5678.34  PQR          4532.43
10006    FRG          5783.43  JHK          9724.56
10001    DEG          5345.34  HTY          7856.34
10008    HGT          678.67   KIL          7893.13
10003    GRT          678.67   JHK          6544.11

Answer 1

尝试对数据进行子集化，您可以使用循环并将结果存储在列表中。

listids <- list()
for (ids in unique(df$Cust_Ids)){
    subdf <- subset(x=df, subset=Cust_Ids==ids)
    # apply the rest of your analysis there using subdf, for instance 
    listids[[ids]] <- shapiro.test(subdf$Expense)
}

Answer 2

不确定我是否理解这个问题。示例数据会有所帮助。如果您正在寻找测试每列的正态性，您可以只对每个相关列运行测试。

例如，如果您的数据集名为 data 并且是一个 data.table，请参阅 class(data)：

Expense <- data$Expense 
shapiro.test(Expense)

您可以遍历列（请参阅apply 函数系列），或者如果您只有几个列，则在相关的地方重复上述内容。

根据您要弄清楚的内容，有多个测试： https://en.wikipedia.org/wiki/Normality_test#Frequentist_tests

如果您有一百万个Cust_Id，其中有 340 个唯一身份，您可以为每个唯一群组创建子表并测试每个群组的正态性。如果这是您想要的，我可以编写一个循环，然后为您提供 340 个唯一 ID 中每一个的特定列的正态性？

类似：

library(data.table)
data <- data.table(data)

对于一个 ID：

id_10 <- data[Cust_Id == 10]

id_10的测试费用：

shapiro.test(id_10$Expense)

循环它们：

for(i in unique(data$Cust_Id)){
       u <- setDT(data)[Cust_Id == i]
       s <- shapiro.test(u$Expense)
       print(i)
       print(s)
      }

或者创建子集，然后对每个子集应用测试：

for(i in unique(data$Cust_Id)){
     assign(paste0("id",i),setDT(data)[Cust_Id== i])
    }

另一种方法是按唯一 id 分割：

 z<-split(data,data$Cust_Id)
for(i in z){print(shapiro.test(i$Expense))}

编辑

在表格中获取结果：

使用示例表：

   x <- data.frame(a=c(1,1,1,2,2,2,3,3,3,4,4,4),y=c(100,10,20,20,35,50,1,2,3,4,5,100),z=c(1,2,3,4,5,6,7,8,9,10,11,12))

df <- setDT(x)[, .(Normality_y = shapiro.test(y), Normality_z = shapiro.test(z), Count = .N), by = a]

df 将在末尾显示 y 和 z 列的正态性以及唯一 ID 的计数。请注意，对于每个 ID，normality_y 数据框中的第一个数字是 W 值，第二个是 p 值。

要清理它：

library(plyr)
df2 <- ddply(df, "a", function(z) head(z,2))

现在，对于每个 ID，您将有两行分别代表 W 和 p 值。我使用了 y 和 z 列，您可以将它们更改为费用和收入等。添加更多列的语法应该直截了当