针对交叉(高阶)特征学习提出的DeepFM是一个end-to-end模型,不需要像wide&deep那样在wide端人工构造特征。

 

网络结构:

论文笔记-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

sparse features的构造:类别型特征one-hot,连续型特征数值表示,或者分段离散后one-hot

 

论文笔记-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

FM与NN分别输出预测y后,对两个结果进行sigmoid

 

FM部分:

论文笔记-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

paper指出在数据稀疏的情况下,FM仍能有效地学出二阶特征,最后FM的预测为:

论文笔记-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

 

deep部分:

论文笔记-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

papar指出这个网络结构两个特别的点:

1)虽然input的field vector长度不一,但是它们embedding出来的长度是固定的

2)FM的latent vector V向量作为原始特征到embedding vector的权重矩阵,放在网络里学习,如下图。

(个人理解,也就是说在网络的一二层,学出来的weight就是FM的latent vector,然后在FM component中使用,计算y_fromFM)

论文笔记-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

 

deepFM中FM与deep部分共享一份embedding数据,有两点好处:

1)能够从原始特征同时学习低阶和高阶特征

2)不需要像W&D做特征工程

 

paper之后比较了该模型与W&D在内的好几个模型,因为还没有读它们的原始论文,暂不记了。

 

相关文章:

  • 2021-08-18
  • 2022-01-20
  • 2021-06-30
  • 2021-07-13
  • 2021-09-05
  • 2021-06-02
  • 2021-04-08
猜你喜欢
  • 2021-07-11
  • 2021-04-10
  • 2021-05-27
  • 2021-10-13
  • 2021-10-20
  • 2021-06-24
  • 2021-05-14
相关资源
相似解决方案