在不满足条件的情况下按 ID 删除所有观察值

Question

我有一个包含约 400 万笔交易记录的数据集，按 Customer_No 分组（每个 Customer_No 包含 1 个或多个交易，用顺序计数器表示）。每笔交易都有一个类型代码，我只对使用特定交易类型组合的客户感兴趣。加入表本身或在 Proc Sql 中使用 EXISTS 都不允许我有效地评估事务类型标准。我怀疑使用保留和执行循环的数据步骤会更快地处理数据集

数据集：

Customer_No Tran_Seq    Tran_Type
    0001        1           05
    0001        2           12
    0002        1           07
    0002        2           86
    0002        3           04
    0003        1           07
    0003        2           84
    0003        3           84
    0003        4           84

我尝试应用的标准：

1. 所有 Customer_No 的 Tran_Type 只能在 ('04','05','07','84','86') 中， 如果使用了任何其他 Tran_Type，则删除该 Customer_No 的所有事务

2. Customer_No 的 Tran_Type 必须包括（'84' 或 '86'）AND '04'，如果不满足此条件，则删除 Customer_No 的所有事务

我想要的输出：

Customer_No Tran_Seq    Tran_Type
0002        1           07
0002        2           86
0002        3           04  

Answer 1

如果对数据进行排序，DoW 循环解决方案应该是最有效的。如果它没有排序，它要么是最有效的，要么是规模相似但效率稍低的，具体取决于数据集的情况。

我将 Dom 的解决方案与 3e7 ID 数据集进行了比较，得到的 DoW 总长度相似（略短），未排序数据集的 CPU 更少，排序后的速度大约快 50%。保证在大约写出数据集所需的时间长度内运行（可能会多一点，但应该不会太多），如果需要，再加上排序时间。

data want;
  do _n_=1 by 1 until (last.customer_no);
      set have;
      by customer_no;  
      if tran_type in ('84','86') 
        then has_8486 = 1;
      else if tran_type in ('04') 
        then has_04 = 1;
      else if not (tran_type in ('04','05','07','84','86')) 
        then has_other = 1;
  end;
  do _n_= 1 by 1 until (last.customer_no);
    set have;
    by customer_no;
    if has_8486 and has_04 and not has_other then output;
  end;
run;

Answer 2

我认为没有那么复杂。加入子查询group by Customer_No，并将您的条件放在having 子句中。 min 函数中的条件对于所有行都必须为真，而max 函数中的条件对于任何一行都必须为真：

proc sql;
create table want as
select
  h.*
from
  have h
  inner join (
    select
      Customer_No
    from
      have
    group by
      Customer_No
    having
      min(Tran_Type in('04','05','07','84','86')) and
      max(Tran_Type in('84','86')) and
      max(Tran_Type eq '04')) h2
  on h.Customer_No = h2.Customer_No
;
quit;

Answer 3

我会使用 INTERSECT 运算符提供比 @naed555 稍微简单的 SQL 解决方案。

proc sql noprint;

create table to_keep as
(
    select distinct customer_no
    from have 
    where tran_type in ('84','86')

    INTERSECT

    select distinct customer_no
    from have 
    where tran_type in ('04')
)

EXCEPT

    select distinct customer_no
    from have
    where tran_type not in ('04','05','07','84','86')
;

create table want as
select a.*
from have as a
inner join 
     to_keep as b
on a.customer_no = b.customer_no;

quit;

Answer 4

我一定犯了一个加入错误。重写时，Proc Sql 在不到 30 秒的时间内完成（在原始的 490 万条记录数据集上）。虽然它不是特别优雅的代码，所以我仍然希望有任何改进或替代方法。

data Have;
input Customer_No $ Tran_Seq $ Tran_Type:$2.;
cards;
    0001        1           05
    0001        2           12
    0002        1           07
    0002        2           86
    0002        3           04
    0003        1           07
    0003        2           84
    0003        3           84
    0003        4           84
;
run;

Proc sql;
Create table Want as
select t1.* from Have t1
LEFT JOIN (select DISTINCT Customer_No from Have
                    where Tran_Type not in ('04','05','07','84','86')
                                  ) t2
ON(t1.Customer_No=t2.Customer_No)
INNER JOIN (select DISTINCT Customer_No from Have
                    where Tran_Type in ('84','86')
                                ) t3
ON(t1.Customer_No=t3.Customer_No)
INNER JOIN (select DISTINCT Customer_No from Have
                    where Tran_Type in ('04')
                                ) t4
ON(t1.Customer_No=t4.Customer_No)
Where t2.Customer_No is null
;Quit;