SAS遍历变量列表以计算唯一值

Question

我不太熟悉 SAS 逻辑，也不知道我的任务应该使用哪些步骤。基本上我想计算唯一记录数和记录数之间的比率（唯一比率）以确定变量是离散的还是连续的。该数据集包含 700 多个变量和 5M 条记录，因此使用 proc freq 可能会崩溃。

这是我建议的步骤：

1. 数据集中的样本 100000
2. 计算样本中每一列的“唯一比率”

重复第 1 步和第 2 步 N 次，比如 50 次。我们将有最终的数据集，如：

  Var_name  Sample_Number  Unique_ratio
    Var_1       1               0.58
     ....        .....           .....

然后为每个变量计算所有 N 个样本的平均唯一比率。

我可以在 python 或 R 中轻松地做到这一点。但是将其转换为 SAS 是非常痛苦的。有哪位 SAS 专家能给我一些建议吗？

Answer 1

使用 PROC FREQ 中的 NLEVELS 统计数据。这是一个使用混合了数字和字符变量的 SASHELP.CLASS 数据集的示例。请注意，我在未执行的 SET 语句上使用 NOBS 选项来获取观察总数。如果您的输入是一个视图，那么您可能需要以其他方式计算观察次数。

proc freq nlevels data=sashelp.class ;
  ods output nlevels=nlevels;
  tables _all_ / noprint ;
run;
data want ;
  if 0 then set sashelp.class(drop=_all_) nobs=nobs ;
  set nlevels;
  total=nobs;
  unique_ratio = nlevels/total ;
run;
proc print; run;

如果您确实有大量唯一值，那么您可能只需要在数据的随机子集上运行它。 PROC FREQ 应该能够处理 700 个变量的 10,000 个观察值，即使它们都是唯一的。

Answer 2

 proc sql;
    create table need as
    select Distinct count(*) as unique_records,count(xxx)as number_of_rec
    from have;`enter code here`

    quit;

    data need1;
    set need;
    ratio=(unique_records/number_of_rec)*100;
    run;