从 SAS 数据集中创建包含 50 多个变量的重复项表

Question

我需要加载到 Teradata 中的大型 SAS 数据集（54 个变量和超过 1000 万个观测值）。还必须出现重复项，并且我的机器未配置为 MultiLoad。我想简单地创建一个包含 300,000 个重复项的表，我可以将其附加到不接受它们的原始负载中。我在其他帖子中读到的逻辑似乎适用于只有几个变量的表。是否有另一种方法可以创建一个新表，其中列出了具有所有 54 个变量的相同组合的每个观察值。我试图通过使用 54 个变量的逻辑来避免 proc 排序。查询生成器方法似乎也效率低下。谢谢。

Answer 1

你可以这样做：

proc sql;
create table rem_dups as 
select <key_fields>, count(*) from duplicates
group by <key_fields>
having count(*) > 1;
quit; 

proc sql; 
create table target as 
select dp.* from duplicates dp 
left join rem_dups rd 
on <Key_fields>
where <key_fields> is null;
quit; 

如果重复次数超过 300K，则此选项不起作用。而且，我不敢说我​​不了解 Teradata 以及您加载表格的方式。

Answer 2

我建议您使用Proc sort和index，而不是试图避免proc排序。

Read the document about index

我确信除了_n_之外，必须有标识符来区分观察， 在索引的帮助下，按noduprecs 或nodupkey dupout = dataset 排序将是一个有效的选择。此外，索引还可以促进其他操作，例如合并/报告。

无论如何，我不认为具有 1000 万个观测值（每个？）的数据集是一个好的数据集，更不用说 54 个变量了。

Answer 3

使用proc sort 是一个很好的方法，您只需要创建一个更好的方法来关闭它。

创建一些测试数据。

data have;
  x = 1;
  y = 'a';
  output; 
  output;
  x = 2;
  output;
run;

创建一个新字段，基本上相当于将行中的所有字段附加在一起，然后通过md5()（散列）算法运行它们。这将为您提供一个很好的短字段，它将唯一标识该行上所有值的组合。

data temp;
  length hash $16;
  set have;
  hash = md5(cats(of _all_));
run;

现在使用 proc 排序和我们的新哈希字段作为键。将重复记录输出到名为'want'的表中：

proc sort data=temp nodupkey dupout=want;
  by hash;
run;

Answer 4

先是几个sort相关的建议，然后是休息后的核心“快”建议。

---

如果表完全未排序（即重复项可以出现在数据集中的任何位置），那么proc sort 可能是您最简单的选择。如果您有一个可以保证将重复记录相邻放置的键，那么您可以这样做：

proc sort data=have out=uniques noduprec dupout=dups;
  by <key>;
run;

这会将重复记录（注意 noduprec 不是 nodupkey - 这要求所有 54 个变量都相同）放在辅助数据集中（上面的 dups）。但是，如果它们在物理上不相邻（即，key 有 4 或 5 个重复项，但只有两个是完全重复的），如果它们在物理上不相邻，则可能无法识别；您需要进行第二次排序，或者您需要在 by 语句中列出所有变量（这可能很混乱）。您还可以使用 Rob 的 md5 技术来简化这一点。

如果表未“排序”但重复记录将相邻，您可以使用 by 和 notsorted 选项。

data uniques dups;
  set have;
  by <all 54 variables> notsorted;
  if not (first.<last variable in the list>) then output dups;
  else output uniques;
run;

这告诉 SAS 如果事情的顺序不正确，不要抱怨，而是让您使用第一个/最后一个。虽然不是一个很好的选择，但特别是因为您需要指定所有内容。

---

最快的方法可能是为此使用哈希表，如果你有足够的 RAM 来处理它，或者你可以以某种方式分解你的表（不会丢失你的重复）。 10m 行乘以 54（比如 10 字节）变量意味着 5.4GB 的数据，所以这只有在您有 5.4GB 的 RAM 可供 SAS 用于制作哈希表时才有效。

如果您知道 54 个变量中的一个子集足以验证唯一性，那么 unique 哈希只需包含这些变量子集（即，它可能只有四个或五个索引变量）。 dups 哈希表必须包含所有变量（因为它将用于输出重复项）。

这通过使用modify 来快速处理数据集，而不是重写大部分观察结果；使用remove 删除它们并使用哈希表output 方法将重复项输出到新数据集。 unq 哈希表仅用于查找 - 因此，同样，它可以包含变量的子集。

我在这里还使用了一种技术，将完整的变量列表放入一个宏变量中，这样您就不必输入 54 个变量了。

data class;   *make some dummy data with a few true duplicates;
  set sashelp.class;
  if age=15 then output;
  output;
run;

proc sql;
  select quote(name) 
    into :namelist separated by ','
    from dictionary.columns
    where libname='WORK' and memname='CLASS'
  ;  *note UPCASE names almost always here;
quit;

data class;
  if 0 then set class;
  if _n_=1 then do;               *make a pair of hash tables;
     declare hash unq();
     unq.defineKey(&namelist.);
     unq.defineData(&namelist.);
     unq.defineDone();
     declare hash dup(multidata:'y'); *the latter allows this to have dups in it (if your dups can have dups);
     dup.defineKey(&namelist.);
     dup.defineData(&namelist.);
     dup.defineDone();
  end;
  modify class end=eof;
  rc_c = unq.check();           *check to see if it is in the unique hash;
  if rc_c ne 0 then unq.add();  *if it is not, add it;
  else do;                      *otherwise add it to the duplicate hash and mark to remove it;
    dup.add();
    delete_check=1;
  end;

  if eof then do;                      *if you are at the end, output the dups;
    rc_d = dup.output(dataset:'work.dups');
  end;

  if delete_check eq 1 then remove;        *actually remove it from unique dataset;
run;