【问题标题】:Deciding n_features value for scikit learn FeatureHasher确定 scikit learn FeatureHasher 的 n_features 值
【发布时间】:2019-01-07 18:48:44
【问题描述】:

我有一个包含 4000 个不同级别的分类列。

当使用sklearn.feature_extraction.FeatureHasher 进行编码时,该列 避免碰撞的 n_features 值应该是多少?

【问题讨论】:

    标签: machine-learning scikit-learn feature-extraction


    【解决方案1】:

    n_features 应尽可能大以避免冲突。您是否可以计算所有 4000 个级别中的所有唯一值?如果是,您可以将n_features 设置为此值。将n_features 设置为非常大的值可能会占用大量 RAM。一般n_features在2^28到2^32之间就足够了

    【讨论】:

    • 在研究 FeatureHasher 时,我们正在研究它以减少生成的编码表的维度。如果我必须使用 4000 作为 n_features 我会更好地使用 oneHotEncoding 吗?
    • “您是否可以计算所有 4000 个级别的所有唯一值”.. - 我不明白这一点。 - 数据集的实际大小为 7,00,000,其中一个分类列有 4000 个唯一值!
    • 对不起,我也不明白。
    猜你喜欢
    • 2021-07-21
    • 2023-03-09
    • 2014-04-14
    • 2019-07-20
    • 2017-12-19
    • 2016-08-09
    • 2018-09-23
    • 2018-10-20
    • 2017-06-08
    相关资源
    最近更新 更多