使用 SAS 或 Excel 删除“几乎重复的”

Question

我在 SAS 工作，我有一个包含 2 列的数据集，我不仅想删除重复项，还想删除“几乎”重复项。数据如下所示：

**Brand        Product**
Coca Cola    Coca Cola Light
Coca Cola    Coca Cola Lgt
Coca Cola    Cocacolalight
Coca Cola    Coca Cola Vanila
  Pepsi       Pepsi Zero
  Pepsi       Pepsi Zro

我不知道这是否真的可能，但我希望文件在删除“重复项”后看起来像这样：

    **Brand        Product**
    Coca Cola    Coca Cola Light
    Coca Cola    Coca Cola Vanila
      Pepsi       Pepsi Zero

如果决赛桌有例如，我没有偏好。 “Pepsi Zero”或“Pepsi Zro”，只要没有“重复”值即可。

我在想是否有办法比较例如前 4-5 个字母，如果它们相同，则将它们视为重复。但我当然愿意接受建议。如果有办法在 excel 中完成，我很想听听。

Answer 1

我将直接引用 Jeff 的 answer 开始：

SAS 至少有几个用于计算编辑距离的函数 两个字符串之间：

Compged，一般编辑距离： http://support.sas.com/documentation/cdl/en/lrdict/64316/HTML/default/viewer.htm#a002206133.htm

Complev，对于 Levenshtein 距离： http://support.sas.com/documentation/cdl/en/lrdict/64316/HTML/default/viewer.htm#a002206137.htm

还有用于比较编辑距离的spedis() 函数。

现在这些都很棒，但我个人最喜欢的是soundex() 函数，它可以让您测试两个单词“听起来”是否相同。它不会 100% 正确，但在这种情况下，结果正常。

首先是一些数据：

Data HAVE;
  attrib name length=$20 alt_name length=$20;
  infile datalines dsd dlm=',' truncover;
  input name $ alt_name $;
  datalines;
Coca Cola    ,Coca Cola Light
Coca Cola    ,Coca Cola Lgt
Coca Cola    ,Cocacolalight
Coca Cola    ,Coca Cola Vanila
Pepsi        ,Pepsi Zero
Pepsi        ,Pepsi Zro
;
Run;

获取我们要比较的每个单词组合，并计算soundex()s 进行目测：

proc sql noprint;
  create table cartesian as
  select a.name,
         a.alt_name as alt_name1,
         b.alt_name as alt_name2,
         soundex(a.alt_name) as soundex_a,
         soundex(b.alt_name) as soundex_b
  from have a, have b
  where a.name = b.name
    and soundex(a.alt_name) eq soundex(b.alt_name)
  ;
quit;

现在我将把它作为一个练习来对结果列表进行重复数据删除。但基本上这会告诉你哪些词匹配。如果您得到匹配的误报，只需将它们添加到例外列表中以手动转换这些特定值。