【发布时间】:2016-07-07 19:27:49
【问题描述】:
假设我有一个聚类条形图,并且我想找出每个聚类中的异常值......这更容易解释一个例子,所以这里是:
这里我们有错误代码的计数(X 轴:代码,Y 轴:计数),并且集群是记录这些错误的单个机器。你可以看到1001 在所有这些机器上都记录了很多,而897 没有那么多。对于每个错误代码集群,我想找出特定机器相对于其他机器的异常值(高)。
这是一种我可以很容易地用我的眼睛识别的模式......但事实上,记录了这么多错误1001s,并针对所有其他错误代码绘制,具有线性 Y 轴,这意味着 @ 987654328@ 或 176 太小了。
那么:有没有办法“标准化”每个集群,以便对于计数较小的集群,它们的计数会膨胀/扩大以占据更多的 Y 轴?
【问题讨论】:
-
我认为交叉验证 stats.stackexchange.com 会更好。
-
好的,我没有意识到数据可视化是他们范围的一部分,但现在我明白了,谢谢!
-
另外,我想办法将 Y 轴设置为对数刻度,这非常有效。问题是,我现在不确定是用我自己的答案来回答这个问题,还是删除它,或者什么。
-
很有趣——我刚刚发表了一篇博文反对,使用带条的对数刻度,因为条需要一个零点才能使长度有意义。 blogs.sas.com/content/jmp/2016/06/29/… 更多关于原始问题,我认为统计人员会对如何衡量差异是否显着有所了解。
-
@xan 这是一篇好文章——我同意对数刻度的使用需要证明是合理的——但我正在研究的情况是“当基础数据非常偏斜时,对数刻度最有用或变化了许多数量级”。在这种情况下,一些错误(例如 1001)以 1000/hr 的速率记录,而其他错误(例如 309)以 10/hr(或更少)的速率记录。这是一个遗留系统,因此日志记录就是它的本质,错误就是它们的本质,而我想要找到的是一个新的部署——它首先部署到一个农场一天——是否显示不同的错误趋势:例如,我们是否让情况变得更糟?