知识卡片 一致性评价 r和k

一致性评价,是指对两个或多个相关的变量进行分析,从而衡量其相关性的密切程度。

举例如下:

知识卡片 一致性评价 r和k

如何评价两个评委(数据集)的一致性?

皮尔森 Pearson 相关系数;

皮尔森相关系数(Pearson coefficient)的应用背景举例:

  •  用来衡量两个用户之间兴趣的一致性

  • 用来衡量预测值与真实值之间的相关性

  • 既适用于离散的、也适用于连续变量的相关分析

知识卡片 一致性评价 r和k

注:pxy 也就是 r  计算的是X和Y变量的相关系数;R^2 是判别系数,用来判别线性回归的拟合程度,即所有自变量作为一个总体,对因变量Y方差的解释程度,取值范围是[0,1],当线性回归模型只有一个x和y时,那么R = r。

科恩卡帕 Cohen’s kappa 相关系数:

Cohen‘s kappa相关系数也可用于衡量两个评价者之间的一致性。

其特点在于:

  • pearson相关系数的区别:Cohen‘s kappa 相关系数通常用于离散的分类的一致性评价。

  • 通常被认为比两人之间的简单一致百分比更强壮,因为Cohen‘s kappa考虑到了二人之间的随机一致的可能性。

  • Cohen‘s Kapps 主要用于两者的评价,如果评价者多于2人时,可以考虑使用 弗莱斯卡帕 Fleiss' kappa

举例说明:

知识卡片 一致性评价 r和k

对角线上的a d 情况是符合两评委评价的一致

知识卡片 一致性评价 r和k

知识卡片 一致性评价 r和k

知识卡片 一致性评价 r和k

知识卡片 一致性评价 r和k

若k值小于0.4,则一致性不理想,大于0.8则属于理想情况,小于0不相关。

弗莱斯卡帕相关系数 Fleiss' kappa:

Fleiss' kappa 是Cohen‘s kappa 相关系数的”升级版“,用于两者以上的一致性评价。

举例说明:

知识卡片 一致性评价 r和k

上图每一行的评价总数和为14,Fleiss' kappa 计算过程如下:

知识卡片 一致性评价 r和k

知识卡片 一致性评价 r和k

知识卡片 一致性评价 r和k

Kappa 系数 k 的计算公式都是相同的,可用于一致性检验,和衡量分类的精度,其计算是基于混淆矩阵的。

知识卡片 一致性评价 r和k

知识卡片 一致性评价 r和k

好文章,我 在看❤

相关文章:

  • 2021-07-16
  • 2021-12-31
  • 2021-06-19
  • 2021-11-26
  • 2021-12-18
  • 2021-08-13
  • 2021-04-21
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-05-18
  • 2021-11-03
  • 2021-05-02
  • 2022-02-08
  • 2022-12-23
相关资源
相似解决方案