FM

LR + 特征交叉项：进行特征组合增强模型泛化能力。

y = w_{0} + \sum_{i = 1}^{n} w_{i} x_{i} + \sum_{i = 1}^{n} \sum_{i + 1}^{n} < v_{i}, v_{j} > x_{i} x_{j}

式中 $v_{i}$ 为特征的embedding向量

FFM

FM + Field：将特征按照事先规则分多个场。每个特征将被映射为多个隐向量，每个隐向量对应一个场。当两个特征组合时，用对方对应的场对应的隐向量做内积。FM可看做只有一个场的FFM。

y = w_{0} + \sum_{i = 1}^{n} w_{i} x_{i} + \sum_{i = 1}^{n} \sum_{i + 1}^{n} < v_{i, f_{j}}, v_{j, f_{i}} > x_{i} x_{j}

Wide + Deep：由浅层（或单层）的Wide部分神经网络和深层的Deep部分多层神经网络组成，输出层采用softmax或logistics regression综合Wide和Deep部分的输出。Wide部分有利于增强模型的“记忆能力”，Deep部分有利于增强模型的“泛化能力”。

P (Y = 1 | x) = σ (W_{w i d e}^{T} [x, ϕ (x)] + W_{d e e p}^{T} a^{l_{f}} + b)

Wide & Deep 网络架构

Deep + FM：用FM做特征间低阶组合，用Deep NN部分做特征间高阶组合，并行方式组合。DeepFM不需要预训练和人工特征工程。

\hat{y} = s i g m o i d (y_{F M} + y_{D N N})

DeepFM 网络架构

tf.nn.embedding_lookup_sparse() 多值离散特征的embedding处理

Deep + Cross: 深度神经网络+应用显式特征交叉。特征交叉部分公式为：

x_{l + 1} = x_{0} x_{l}^{T} w_{l} + b_{l} + x_{l} = f (x_{l}, w_{l}, b_{l}) + x_{l}

Deep & Cross 网络架构

DeepFM和Wide&Deep的deep部分有什么不同？
原生的wide&deep里面的deep输入是onehot，数值特征和标签特征都有；DeepFM中的deep是连续数值的embedding输入，且与FM的embedding共享，训练更快更准确。