推荐系列(六):深层神经网络模型(1)

uncle_ll 2019-07-31

函数 Image 推荐系统 神经网络 softmax DNN

上一节展示了如何使用矩阵分解来学习嵌入。但矩阵分解存在一些局限性,包括:

  • 使用侧面特征困难(即查询ID /项目ID以外的任何特征)。因此,只能使用训练集中存在的用户或项目来查询模型。
  • 建议的相关性。每个人都倾向于推荐受欢迎的项目,特别是在使用点积作为相似性度量时。最好是能够捕获特定的用户兴趣。

深度神经网络(DNN)模型可以解决矩阵分解的这些局限性。DNN可以轻松地合并查询特征和项目特征(由于网络输入层的灵活性),这有助于捕获用户的特定兴趣并提高建议的相关性。

Softmax DNN推荐

一种可能的DNN模型是softmax,它将问题看作多类预测问题,其中:

  • 输入是用户查询。
  • 输出是一个概率向量,其大小等于语料库中的项目数,表示与每个项目交互的概率; 例如,点击或观看YouTube视频的可能性。

输入

DNN的输入可包括:

  • 密集特征(例如,观看自上次观看以来的时间和时间)
  • 稀疏特征(例如,观看历史记录和国家/地区)

与矩阵分解方法不同,还可以添加年龄或国家区域等侧面特征。这里用x表示输入向量。
1

模型架构

模型架构决定了模型的复杂性和表现力。通过添加隐藏层和非线性激活函数(例如,ReLU),模型可以捕获数据中更复杂的关系。然而,增加参数的数量通常也使得模型更难以训练并且计算起来更复杂。最后一个隐藏层的输出用 $\psi (x) \in \mathbb R^d$ 表示。
2

图2.隐藏层的输出, ψ(X)

Softmax输出:预测的概率分布

模型映射最后一层的输出, ψ(X),通过softmax层到概率分布 $\hat p = h(\psi(x) V^T)$,其中:

  • $h : \mathbb R^n \to \mathbb R^n$ 是softmax函数,由下式给出 $h(y)_i=\frac{e^{y_i}}{\sum_j e^{y_j}}$
  • $V \in \mathbb R^{n \times d}$是softmax层的权重矩阵。

softmax层映射得分矢量$y \in \mathbb R^n$有时称为 (logits)为概率分布。

3

图3.预测的概率分布,$\hat p = h(\psi(x) V^T)$

你知道吗?
softmax这个名字是一个单词的游戏。“硬”(hard)表示将最大值的概率1分配给得分最高的项目 ÿ。相比之下,softmax为所有的项目分配非零概率,但是具有更高分数的项目其概率也越高。当 α→∞,分数缩放时,softmax $h(\alpha y)$ 收敛到"硬"最大值。

损失函数

最后,定义一个损失函数:

  • $\hat p$,softmax层的输出(概率分布);
  • $p$,真值,真实标签,可以表示为归一化的多热分布(概率矢量);

例如,可以使用交叉熵损失,因为正在比较两个概率分布。

4

图4.损失函数

Softmax嵌入

项目$j$的概率是$\hat p_j = \frac{\exp(\langle \psi(x), V_j\rangle)}{Z}$得到,其中 $Z$ 是一个不依赖$j$的归一化常数。

换一种说法,$\log(\hat p_j) = \langle \psi(x), V_j\rangle - log(Z)$,所以项目$j$的对数概率 是(最多为加性常数)两个d维度向量的点积 ,可以将其解释为查询和项目的嵌入:

  • $\psi(x) \in \mathbb R^D$是最后一个隐藏层的输出,称之为查询$x$嵌入;
  • $V_j \in \mathbb R^d$是将最后一个隐藏层连接到输出j的权重向量,称之为项目$j$嵌入;

注意: 由于log函数是一个递增函数,项目$j$概率最高的 $\hat p_j$ 会获得最高点积的项目$\langle \psi(x) , V_j\rangle$。因此,点积可以被解释为该嵌入空间中的相似性度量。

5

图5.项目的嵌入 $V_j \in \mathbb R^d$

DNN和矩阵分解

在softmax模型和矩阵分解模型中,系统都是对每一个项目 $j$学习嵌入向量 $V_j$。在矩阵分解中,将其称之为项目嵌入矩阵 $V \in \mathbb R^{n \times d}$;在DNN中,是通过softmax层的权重矩阵表示。
但是,查询嵌入的表示是不同的。在DNN中,不再是对每一个查询$i$学习一个嵌入$U_i$,而是系统从查询特征中学习映射查询特征X为查询嵌入$\psi(x) \in \mathbb R^d$。因此,可以将DNN模型视为矩阵分解的泛化。

使用物品特征

可以将相同的想法应用到学习项目嵌入上面吗?即,不是为每一个项目学习到一个嵌入,而是模型是否可以学习将项目特征映射到项目嵌入的非线性函数?答案是可以的。实现这一点需要使用双塔神经网络,该网络由两个神经网络组成:

  • 一个神经网络映射查询特征$x_{query}$到查询嵌入$\psi(x_{\text{query}}) \in \mathbb R^d$
  • 一个神经网络映射项目特征$x_{item}$到项目嵌入$\phi(x_{\text{item}}) \in \mathbb R^d$

模型的输出可以定义为点积 $\langle \psi(x_{\text{query}}), \phi(x_{\text{item}}) \rangle$。注意,这里不再是softmax模型。新模型预测每对$(x_{\text{query}}, x_{\text{item}})$值, 而不是每个查询$x_{query}$的概率向量。

登录 后评论
下一篇
云攻略小攻
1895人浏览
2019-10-11
相关推荐
深度学习必备手册(上)
35681人浏览
2017-10-04 23:31:42
深度学习必备手册(下)
11587人浏览
2017-10-04 23:59:19
机器学习必知的15大框架
467人浏览
2019-08-05 21:37:40
深度学习综述
860人浏览
2017-08-07 09:32:00
机器学习必知的15大框架
35978人浏览
2017-12-05 09:45:55
0
0
0
167