如何计算条件累积和

Question

我有一个像下面这样的数据集，我正在尝试对事件 2 和 3 进行汇总，但略有不同。我只想在 Event_1_dt 小于当前记录中的日期时计算这些事件。我目前正在使用宏 %do 循环来遍历该项目类型的每条记录。虽然这会产生预期的结果，但性能却比预期的要慢。每个 Item_Type 最多可以有 1250 条记录，并且有几千种类型。是否可以在循环完成所有 1250 次迭代之前退出循环？我对尝试加入犹豫不决，因为要统计大约 30 多个事件，但我愿意接受建议。另一个复杂情况是，即使 Event_1_dt 始终大于 Date，它也没有任何其他限制。

Item_Type   Date        Event_1_dt  Event_2_flg Event_3Flg  Desired_Event_2_Cnt Desired_Event_3_Cnt
   A        1/1/2014    1/2/2014    1           1           0                   0
   A        1/2/2014    1/2/2014    0           1           0                   0
   A        1/3/2014    1/8/2014    1           0           1                   2
   B        1/1/2014    1/2/2014    1           0           0                   0
   B        1/2/2014    1/5/2014    1           0           0                   0
   B        1/3/2014    1/4/2014    1           1           1                   0
   B        1/4/2014    1/5/2014    0           1           1                   0
   B        1/5/2014    .           1           1           2                   1
   B        1/6/2014    1/7/2014    1           1           3                   2

对应代码：

%macro History;
data y;
set x;
Event_1_Cnt = 0;
Event_2_Cnt = 0;
%do i = 1 %to 1250;
    lag_Item_Type = lag&i(Item_Type);
    lag_Event_2_flg = lag&i(Event_2_flg);
    lag_Event_3_flg = lag&i(Event_3_flg);
    lag_Event_1_dt = lag&i(Event_1_dt);

    if Item_Type = lag_Item_Type and lag_Event_1_dt > . and lag_Event_1_dt < Date then do;

        if lag_Event_2_flg  = 1 then do;
            Event_2_Cnt = Event_2_cnt + 1;
        end;

        if lag_Event_3_flg = 1 then do;
            Event_3_Cnt = Event_3_cnt + 1;
        end;

    end;
%end;

运行；

%修补;

%历史；

Answer 1

嗯，这对 SAS 来说不是一项简单的任务，但它仍然可以在一个 DATA-step 中解决，无需合并。您可以使用哈希对象。思路如下。 在每个项目类型中，逐条记录，我们将事件标志“收集”到哈希对象中的“箱”中，其中每个箱都是特定日期。所有垃圾箱都按日期升序排列。同时，我们将当前记录的日期插入到相同的哈希中（按日期插入相应的位置），然后从该位置迭代“向上”，总结此时 bin 收集的所有内容（日期

代码如下：

data have;
    informat Item_Type $1. Date Event_1_dt mmddyy9. Event_2_flg Event_3_flg 8.; 
    infile datalines dsd dlm=',';
    format Date Event_1_dt date9.;
    input Item_Type Date Event_1_dt Event_2_flg Event_3_flg;
datalines;
A,1/1/2014,1/2/2014,1,1
A,1/2/2014,1/2/2014,0,1
A,1/3/2014,1/8/2014,1,0
B,1/1/2014,1/2/2014,1,0
B,1/2/2014,1/5/2014,1,0
B,1/3/2014,1/4/2014,1,1
B,1/4/2014,1/5/2014,0,1
B,1/5/2014,,1,1
B,1/6/2014,1/7/2014,1,1
;
run;
proc sort data=have; by Item_Type; run;

data want;
    set have;
    by Item_Type;
    if _N_=1 then do;
        declare hash h(ordered:'a');
        h.defineKey('Event_date','type');
        h.defineData('event2_cnt','event3_cnt');
        h.defineDone();
        declare hiter hi('h');
    end;

    /*for each new Item_type we clear the hash completely*/

    if FIRST.Item_Type then h.clear();

    /*now if date of Event 1 exists we put it into corresponding   */
    /* (by date) place of our ordered hash. If such date is already*/
    /*in the hash, we increase number of events for this date      */
    /*adding values of Event2 and Event3 flags. If no - just assign*/
    /*current values of these flags.*/

    if not missing(Event_1_dt) then do;
        Event_date=Event_1_dt;type=1;
        rc=h.find();
        event2_cnt=coalesce(event2_cnt,0)+Event_2_flg;
        event3_cnt=coalesce(event3_cnt,0)+Event_3_flg;
        h.replace();
    end;

    /*now we insert Date of the record into the same oredered hash,*/
    /*making type=0 to differ this item from items where date means*/
    /*date of Event1 (not date of record)*/

    Event_date=Date;
    event2_cnt=0; event3_cnt=0; type=0;
    h.replace();
    Desired_Event_2_Cnt=0;
    Desired_Event_3_Cnt=0;

    /*now we iterate 'up' from just inserted item, i.e. looping     */
    /*through all items that have date < the date of the record.    */
    /*Items with date = the date of the record will be 'below' since*/
    /*they have type=1 and our hash is ordered by dates first, and  */
    /*types afterwards (1's will be below 0's)*/

    hi.setcur(key:Date,key:0);
    rc=hi.prev();
    do while(rc=0);
        Desired_Event_2_Cnt+event2_cnt;
        Desired_Event_3_Cnt+event3_cnt;
        rc=hi.prev();
    end;
    drop Event_date type rc  event2_cnt event3_cnt;
run;

我不能用你的真实行数来测试它，但我相信它应该很快，因为我们只循环一个小的哈希对象，它完全在内存中，我们只为每个循环做尽可能多的循环必要时记录（仅限较早的事件）并且不进行任何 IF 检查。

Answer 2

我不认为哈希是必要的 - 似乎一个简单的数据步骤就可以解决问题。这可能会阻止您（或遇到您的代码的下一个程序员）需要“重新阅读并进行研究”才能理解它。

我认为以下方法会起作用：

data have;
    informat Item_Type $1. Date Event_1_dt mmddyy9. Event_2_flg Event_3_flg 8.; 
    infile datalines dsd dlm=',';
    format Date Event_1_dt date9.;
    input Item_Type Date Event_1_dt Event_2_flg Event_3_flg;
datalines;
A,1/1/2014,1/2/2014,1,1
A,1/2/2014,1/2/2014,0,1
A,1/3/2014,1/8/2014,1,0
B,1/1/2014,1/2/2014,1,0
B,1/2/2014,1/5/2014,1,0
B,1/3/2014,1/4/2014,1,1
B,1/4/2014,1/5/2014,0,1
B,1/5/2014,,1,1
B,1/6/2014,1/7/2014,1,1
;



data want2 (drop=_: );
    set have; 
    by ITEM_Type;

    length _Alldts_event2 _Alldts_event3 $20000;
    retain _Alldts_event2 _Alldts_event3;

    *Clear _ALLDTS for each ITEM_TYPE;
    if first.ITEM_type then Do;
        _Alldts_event2 = "";
        _Alldts_event3 = "";
    END;

    *If event is flagged, concatenate the Event_1_dt to the ALLDTS variable;
    if event_2_flg = 1 Then _Alldts_event2 = catx(" ", _Alldts_event2,Event_1_dt);
    if event_3_flg = 1 Then _Alldts_event3 = catx(" ", _Alldts_event3,Event_1_dt);
    _numWords2 = COUNTW(_Alldts_event2); 
    _numWords3 = COUNTW(_Alldts_event3);

    *Loop through alldates, count the number that are < the current records date;
    cnt2=0;
    do _i = 1 to _NumWords2;
        _tempDate =  input(scan(_Alldts_event2,_i),Best12.);
        if _tempDate < date Then cnt2=cnt2+1;
    end;

    cnt3=0;
    do _i = 1 to _NumWords3;
        _tempDate =  input(scan(_Alldts_event3,_i),Best12.);
        if _tempDate < date Then cnt3=cnt3+1;
    end;
run;

我相信 Hash 可能会更快，但您必须决定在可理解性/性能之间进行何种权衡是合适的。