Python实现实现FM算法解析算法解析
主要介绍了Python实现FM算法解析，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面
随着小编来一起学习学习吧
1. 什么是什么是FM？？
FM即Factor Machine，因子分解机。
2. 为什么需要为什么需要FM？？
1、特征组合是许多机器学习建模过程中遇到的问题，如果对特征直接建模，很有可能会忽略掉特征与特征之间的关联信息，因此，可以通过构建新的交叉特征这
一特征组合方式提高模型的效果。
2、高维的稀疏矩阵是实际工程中常见的问题，并直接会导致计算量过大，特征权值更新缓慢。试想一个10000*100的表，每一列都有8种元素，经过one-hot独热
编码之后，会产生一个10000*800的表。因此表中每行元素只有100个值为1，700个值为0。
而FM的优势就在于对这两方面问题的处理。首先是特征组合，通过对两两特征组合，引入交叉项特征，提高模型得分；其次是高维灾难，通过引入隐向量（对参
数矩阵进行矩阵分解），完成对特征的参数估计。
3. FM用在哪？用在哪？
我们已经知道了FM可以解决特征组合以及高维稀疏矩阵问题，而实际业务场景中，电商、豆瓣等推荐系统的场景是使用最广的领域，打个比方，小王只在豆瓣上
浏览过20部电影，而豆瓣上面有20000部电影，如果构建一个基于小王的电影矩阵，毫无疑问，里面将有199980个元素全为0。而类似于这样的问题就可以通过
FM来解决。
4. FM长什么样？长什么样？
在展示FM算法前，我们先回顾一下最常见的线性表达式：
其中w0为初始权值，或者理解为偏置项，wi为每个特征xi对应的权值。可以看到，这种线性表达式只描述了每个特征与输出的关系。
FM的表达式如下，可观察到，只是在线性表达式后面加入了新的交叉项特征及对应的权值。
5. FM交叉项的展开交叉项的展开
5.1 寻找交叉项
FM表达式的求解核心在于对交叉项的求解。下面是很多人用来求解交叉项的展开式，对于第一次接触FM算法的人来说可能会有疑惑，不知道公式怎么展开的，接
下来笔者会手动推导一遍。
设有3个变量（特征）x1 x2 x3，每一个特征的隐变量分别为v1=(1 2 3)、v2=(4 5 6)、v3=(1 2 1)，即：
设交叉项所组成的权矩阵W为对称矩阵，之所以设为对称矩阵是因为对称矩阵有可以用向量乘以向量转置替代的性质。
那么W=VVT，即
所以：
评论0