【问题标题】:How do you match strings with different values in pandas?你如何在熊猫中匹配具有不同值的字符串?
【发布时间】:2021-11-29 20:29:24
【问题描述】:

我正在尝试比较 2 个数据帧中的值。这是我的代码:

for i in df1['Searches']:
    for j in df['Tags']:
        if  i == j:
           print(i,j)   

代码有效。但是,我想说明由于空格、拼写错误或标点符号而导致字符串不完全匹配的情况,但考虑到它们有多少共同点,它们应该匹配。

例如:

   Searches       |   Tags 
----------------------------------
   lightblue      |   light blue
   light-blue     |   light blue
   light blu      |   light blue
   lite blue      |   light blue
   liteblue       |   light blue
   liteblu        |   light blue
   light b l u e  |   light blue
   light.blue     |   light blue
   l i ght blue   |   light blue
  

我列出了可能出现在搜索下的可能字符串的变体,以及它应该在标签下匹配的字符串。有没有办法解释这些变化并仍然让它们匹配?

感谢您抽出宝贵时间阅读我的问题并尽您所能提供帮助。

【问题讨论】:

    标签: python pandas string dataframe matching


    【解决方案1】:

    您可以使用字符串相似度指标来确定匹配项。例如,这里我使用来自nltk 库的edit_distance:

    import pandas as pd
    from nltk.metrics.distance import edit_distance
    
    searches = \
    ['lightblue',
     'light-blue',
     'light blu',
     'lite blue',
     'liteblue',
     'liteblu',
     'light b l u e',
     'light.blue',
     'l i ght blue',
     'totally different string'
    ]
    df = pd.DataFrame()
    df['Searches'] = searches
    df['Tags'] = 'light blue'
    
    matches = []
    distance_threshold = 5
    for i in df['Searches']:
        for j in df['Tags']:
            if  edit_distance(i, j) < distance_threshold:
                # print(i,j)  
                matches.append(i)
    print(list(set(matches))) 
    

    输出:

    ['light.blue',
     'light b l u e',
     'lightblue',
     'light blu',
     'light-blue',
     'lite blue',
     'l i ght blue',
     'liteblu',
     'liteblue']
    

    但您必须根据自己的喜好调整 distance_threshold 或选择另一个效果更好的指标。在此处查看指标列表:

    https://www.nltk.org/api/nltk.metrics.distance.html

    您也可以尝试许多其他库。随便搜索一下。

    【讨论】:

    • 非常感谢您抽出宝贵时间回答我的问题。上面的评论是一个更好的答案,但您的解决方案仍然很有帮助!
    • 很高兴为您提供帮助! :D 实际上,我赞成另一个答案。它也快了一分钟。干杯! :)
    【解决方案2】:

    您正在进入模糊字符串匹配。一种方法是使用自然语言工具包 (NLTK) 中的 jaro_similarity 等相似度指标:

    from nltk.metrics.distance import jaro_similarity
    df['jaro_similarity'] = df.apply(lambda row: jaro_similarity(row['Searches'], row['Tags']), axis=1)
    

    结果:

         Searches       Tags  jaro_similarity
        lightblue light blue         0.966667
       light-blue light blue         0.933333
        light blu light blue         0.966667
        lite blue light blue         0.896296
         liteblue light blue         0.858333
          liteblu light blue         0.819048
    light b l u e light blue         0.923077
       light.blue light blue         0.933333
     l i ght blue light blue         0.877778
    

    您必须通过对数据进行试验来选择一个截止点。 nltk.metrics.distance 模块的文档:https://www.nltk.org/api/nltk.metrics.distance.html#module-nltk.metrics.distance

    【讨论】:

    • 非常感谢您花时间回答我的问题。您的解决方案真的很有帮助!
    猜你喜欢
    • 2020-05-31
    • 2020-06-11
    • 1970-01-01
    • 1970-01-01
    • 2017-10-01
    • 1970-01-01
    • 2021-11-12
    • 1970-01-01
    • 2021-08-15
    相关资源
    最近更新 更多