CTR模型：Deep&Cross Network

1. 简介

DCN模型（Deep & Cross Network for Ad Click Predictions）是2017年提出的。
出发点：
（1）人工探索所有的交叉特征是不现实的；
（2）难于推广未曾出现过的交叉特征。

DNN能够自动探索交叉特征并推广到未出现过的交叉特征，但是DNN的学习效率不高，且无法显式的学习特征交叉。

Deep&Cross Network, DCN 模型保留了DNN的优点，并提出了新的cross network，高效学习高阶特征交互。

优点：
（1）cross network显式的在每层应用特征交叉，有效的学习预测能力强的交叉特征，无需人工特征工程。
（2）cross network 简单高效，学习高阶交叉特征，每增加一层，学习的交叉特征的阶数加一阶；
（3）模型表现更好，且参数要比DNN少一个量级。

2. 模型

DCN模型结构：
CTR模型：Deep&Cross Network
（1）Embedding and stacking层：
假设输入包含sparse特征和dense特征，原始特征为向量 x, 其中，

$\overrightarrow{\mathbf{x}}=\left\langle\overrightarrow{\mathbf{x}}_{s p a r s e}^{(1)}, \cdots, \overrightarrow{\mathbf{x}}_{s p a r s e}^{(K)}, \overrightarrow{\mathbf{x}}_{d e n s e}>\right.$

spare特征为 field 的one-hot向量， dense为经过归一化的dense特征， $<\cdot>$ 为向量拼接。
首先，将 field 的特征映射到Embedding向量：
$\overrightarrow{\mathbf{x}}_{e m b e d}^{(i)}=\mathbf{W}_{e m b e d}^{(i)} \overrightarrow{\mathbf{x}}_{sp a r s e}^{(i)}$

然后，Embedding向量和归一化的dense特征拼接成向量：
$\overrightarrow{\mathbf{x}}_{0}=<\overrightarrow{\mathbf{x}}_{e m b e d}^{(i)}, \cdots, \overrightarrow{\mathbf{x}}_{e m b e d}^{(K)}, \overrightarrow{\mathbf{x}}_{d e n s e}>\in \mathbb{R}^{e_{1}+e_{2}+\cdots+e_{K}+d_{s}}$

(2) cross network:
cross network 是一个新颖的结构，核心思想是，以高效的方式显式应用特征交叉。
cross network由交叉层构成，每层的输入输出为：
CTR模型：Deep&Cross Network

cross network的特殊结构使得交叉特征的阶数随着网络的深度加深而增加。
对于L层的cross network，交叉特征的阶数为L+1阶， cross network的参数量为 $2*L*d$ .
cross network 的时间复杂度和空间复杂度都是输入维度d的线性函数。

cross network的本质是，用 $x_0 x_l^T$ 来捕获所有的特征交叉，这种方式避免了存储整个矩阵以及矩阵乘法运算。

由于cross network的参数很少，网络过于简单，模型容易陷入欠拟合，为了加强模型的学习能力，DCN的右侧引入了并行的deep network。

cross network 可以理解为：多项式逼近， FM泛化，或者有效投影。

引用
多项式逼近
使用相同的度的多项式来近似cross network：

多项式的项有， $O(d^n)$ 个。但是cross network只有 $O(d)$ 个参数。
FM泛化
FM模型是特征 $x_i$ 和向量 $v_i$ 相关联，交叉特征 $x_i * x_j$ 的权重为 $v_i* v_j$ .
DCN 模型，特征 $x_i$ 和一组标量 $\{w_l^{(i)}\}_{l=1}^L$ 相关联，交叉特征 $x_i * x_j$ 的权重是从两个集合 $\{w_l^{(i)}\}_{l=1}^L$ 和 $\{w_l^{(j)}\}_{l=1}^L$ 中的元素相乘项构成的。
相同点：两者都是首先学习特征独立的一些参数，然后交叉项的权重是相应参数的某种组合；
不同点：FM是浅层模型，交叉项的度为2；DCN能表达L阶交叉特征，L为cross network的深度。
有效投影 efficient projection

（3）deep network
CTR模型：Deep&Cross Network
假设，隐层的维度都是m, 一共 Ld层。那么，deep network 的参数数量为：

其中，第一层的参数量是， $d*m+m$ ;
后续的 Ld-1层，每层的参数量是， $m*m+m$ .

(4)combination layer
拼接 cross network 和deep network两个网络的输出向量，然后，输出到标准的sigmoid输出层。
CTR模型：Deep&Cross Network
其中，p 是预测的点击概率。
模型的损失函数是带正则化的对数似然函数：

DCN训练时，联合训练cross network 和deep network。

3. 实验

Criteo Display Ads数据集：用于预测广告点击率的数据集。
包含13个整数特征，26个类别特征，每个类别特征的基数很大。

数据包含7天的11GB的用户日志，前6天的数据训练，第7天的数据随机划分为相同大小的验证集和测试集。
数据集经过预处理：

整数特征：log函数归一化；
类别特征：one-hot编码。
类别特征的Embedding的维度是，
carninality 是类别的unique 值的个数（基数）.

参数配置
优化策略：
Adam优化器， batch size = 512；
deep network采用batch normalization;
范数超过100的梯度进行裁剪；

正则化：采用early stopping 。
超参数：deep network隐向量维度，deep network层数，cross layer 层数，初始化学习率通过超参数搜索 grid search.

搜索空间：
初始化学习率 1e-4 到 1e-3.

CTR模型：Deep&Cross Network
最优结构： cross layer 6层， deep network 2层，隐向量为1024维。

参考：