【问题标题】：Keras: how to figure out the Null hypothesis?Keras：如何找出零假设？
【发布时间】：2017-06-21 22:28:31
【问题描述】：
我正在使用 keras 训练一个深度神经网络。其中一个分数称为 val_acc。我得到了 70% 的 val_acc。我怎么知道这是好还是坏？神经网络是一个二元分类器，所以我试图预测一个 1 或一个 0。数据本身大约有 65% 的 0 和 35% 的 1。我的 70% val_acc 有用吗？
【问题讨论】：
标签：
statistics
tensorflow
keras
cross-validation
hypothesis-test
【解决方案1】：
准确度并不总是评估分类器的正确指标。例如，对 1 进行更正确的分类可能比 0（例如欺诈检测）或其他方式更重要。因此，您可能有兴趣拥有一个具有更高精度（特异性）或召回率（灵敏度）的分类器。换句话说，误报对您来说可能比误报更昂贵。如果您对错误分类的成本有一些了解（例如对于 FP 和 FN），那么您可以精确计算 0-1 分类的最佳特定阈值（而不是默认的 0.5）。您也可以使用 ROC 曲线和 AUC 来查找分类器的性能（AUC 越高越好）。最后，您可能需要考虑 kappa 统计信息，以了解您的分类器的有用性/有效性。