【问题标题】:when to normalize data with zscore (before or after split)何时使用 zscore 规范化数据(拆分之前或之后)
【发布时间】:2020-10-21 05:30:49
【问题描述】:

我正在学习一门 udemy 课程,这为仅对训练数据进行规范化(从测试数据拆分后)提供了强有力的理由,因为该模型通常由新数据使用,具有原始数据集的规模特征。如果你缩放测试数据,那么你就没有正确地对模型进行评分。

另一方面,我发现我的二分类逻辑回归模型(使用 Azure 机器学习工作室创建)在 Z-Score 仅缩放训练数据后得到了糟糕的结果。

一个。这只是 Azure 工具的问题吗? 湾。当需要对特征数据进行缩放(相差一个、两个或三个数量级)时,有什么好的经验法则?

【问题讨论】:

    标签: apache-spark machine-learning scikit-learn


    【解决方案1】:

    由于标准化测试集而无法正确评分模型似乎没有意义: 您可能还会对未来用于预测的数据进行规范化。

    我在 datascience stackexchange 中找到了this similar question,最佳答案表明不仅测试数据必须被标准化,而且您需要应用与对训练数据所做的完全相同的缩放,因为您的数据规模您的模型也考虑到了:不同比例的测试/预测数据可能会导致功能过度/过度夸大。

    【讨论】:

    • 这是一个很好的链接。看起来像决策树算法,不需要缩放。这是一个很棒的发现。感谢一位新手数据科学家。
    • 不用担心其他新手。
    猜你喜欢
    • 2018-09-01
    • 1970-01-01
    • 2019-01-17
    • 2015-02-23
    • 2020-07-12
    • 2018-05-23
    • 1970-01-01
    • 1970-01-01
    • 2017-08-12
    相关资源
    最近更新 更多