【问题标题】:Making Dedupe learn from existing label data让 Dedupe 从现有的标签数据中学习
【发布时间】:2017-12-01 13:14:50
【问题描述】:

我知道Dedupe 使用主动学习来删除重复项并执行记录链接。

但是,我想知道我们是否可以将带有已匹配对(标签数据)的excel表作为主动学习的输入?

【问题讨论】:

    标签: python-2.7 record-linkage python-dedupe


    【解决方案1】:

    不直接。

    您需要将数据转换为markPairs 可以使用的格式。

    类似:

    labeled_examples = {'match'    : [],
                        'distinct' : [({'name' : 'Georgie Porgie'},
                                       {'name' : 'Georgette Porgette'})]
                        }
    deduper.markPairs(labeled_examples)
    

    我们确实提供了一个方便的函数来将电子表格数据转换成这种格式trainingDataDedupe

    (我是重复数据删除的作者)

    【讨论】:

    • 我通过输入标记数据成功生成了第一级结果。但是如 Dedupe.io 视频中所示,如何进一步微调结果?
    • 该功能不是 dedupe 库的一部分,而只是 dedupe.io 的一部分。
    • 感谢您的帮助。
    • 置信度得分 > 1.0 是什么意思?例如:0.84、1.23、4.56、7.65、3.4
    • 这个问题似乎很遥远。
    猜你喜欢
    • 2017-09-01
    • 2019-06-30
    • 2017-07-21
    • 2020-06-10
    • 2014-06-11
    • 2019-01-11
    • 2017-06-15
    • 2016-05-25
    • 2012-03-15
    相关资源
    最近更新 更多