DIN算法
一、din简介
该论文是18年由阿里巴巴的盖坤团队提出，论文地址为：https://arxiv.org/pdf/1706.06978.pdf
原论文的网络结构为
在深度学习推荐系统这本书中，王喆绘制了这么一幅图，更好理解
注意
架构图中的红线，发现每个ad会有 good_id, shop_id 两层属性，shop_id只跟用户历史中的shop_id序列发生作用，good_id只跟用户的good_id序列发生作用
1 论文优化点
1.1注意力机制
注意力机制顾名思义，就是模型在预测的时候，对用户不同行为的注意力是不一样的，“相关”的行为历史看重一些，“不相关”的历史甚至可以忽略
va是候选集的embedding，ej是行为序列的embedding，一般要求sum(wj,j=1,2,…n)=1,为了达到这种目的，对attention做了softmax处理
1.2 mini-batch aware regularization
在大规模稀疏场景下，采用SGD对引入L2正则的loss进行更新时计算开销过大的问题。该方法只对每一个mini-batch中参数不为0的进行梯度更新
B代表总mini-batch的size，Bm代表第m个mini-batch，amj=max(x,y)I(xj!=0) ,(x,y) in Bm，I为指示函数；nj代表在所有样本中特征j出现的次数
1.3 适应**函数Dice
主要是缓解每一个batch分布不一致，而提出的一种自适应调整rectified point的位置的**函数
E[s] and Var[s]每一个mini-batch的期望和方差，当期望为0，方差为1退化为PReLu
PReLu的结构为
参考
1、https://zhuanlan.zhihu.com/p/78015378
Edited by ：Eshter
date ：20201119