淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

最近京东金融App被发现私自上传用户的银行app截图,被迫公开致歉。

京东app获取用户的资产信息的目的之一,是想针对特定用户进行定制化的推荐。只不过这样的做法涉嫌侵犯用户隐私,存在极大的安全隐患。

通常来讲,像京东、淘宝、亚马逊、Netflix这样的电商公司,都需要掌握一定的用户隐私信息,从而能够让推荐系统做到投用户之所好

早期简单的推荐系统,比如亚马逊、京东等,会根据用户购买的历史,推荐拥有类似标签的商品。

然而对于消费者来说,除非是需要重复购买的耗材类产品,否则很少会再去购买功能相似的商品,这样的推荐系统显然是远远不能满足购物需求的。

协同过滤是迄今为止最成功的推荐算法之一,广泛应用于电子商务、社交网络、影音阅读等涉及到信息检索的领域。

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

使用协同过滤将用户喜好抽象成数学问题

将个性化推荐抽象成一个逻辑清晰的数学问题,而不需要涉及到变幻莫测的心理学,极大的降低了推荐系统的设计成本,提高了鲁棒性。

协同过滤的原理,首先是找出和你喜好、订单等有交集的其他用户。比如你们的订单中,有80%以上的商品重合率,阅读过的书籍中有10本都标记了喜欢等等。

通过多个维度把用户进行分类,就可以使用同类的群体用户的数据,针对单个用户进行推荐。

协同过滤算法分为两类,基于用户(User-based)的协同过滤,和基于邻居的协同过滤(Neighbor-based Collaborative Filtering)。前者是人以类聚,后者是物以群分。

由此可见,协同过滤算法严重依赖两个因素:大量的有关用户喜好的历史数据,以及大量的单一产品的评价数据。

总之,数据越丰富,推荐越精准。但这对小样本数是非常不友好的,在冷启动的时候(比如新用户完全没有产生任何历史数据),该如何构建推荐系统呢?

常见的解决方案涉及分析元数据,或给新用户通过几个问题来了解他们的初始偏好。

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

协同过滤算法的实现方式

我们使用电影评分作为示例。根据用户对电影的分数构建一个用户表来对其进行可视化:

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

上表中,每行代表一个用户,每列代表一部电影。交叉引用揭示用户和电影评分之间的对应关系(满分为5分,0分表示“未观看”)。

我们的目标是预测出是否应该向没看过该电影、对应评分为0的用户,推荐这部电影。对应到表中,这个问题就转化为“预测用户会给电影打几分”。

在具体实现中,就是给分数为0的表格填上分数,这个分数就是预测的用户评分。如果分数高,就向用户推荐;不高就不推荐。

接下来我们设2个嵌入矩阵:用户矩阵W_u,和电影矩阵W_m。每个矩阵将用e维向量填充,e是数组的大小。

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

我们在两个矩阵中,使用完全随机数,得到两个随机的矩阵。两者相乘得到第三个完全随机的矩阵。

将这个矩阵和原始表进行对比,从而找到一个损失函数。这基本上是衡量预测评级与实际评级相差多远的指标。接着使用反向传播和梯度下降来优化两个矩阵以获得正确的值。

为什么可以通过冰冷的数学预测出我们的喜好?

上述构建的矩阵基本上是矢量堆栈。每个用户一个向量,每个电影一个向量。

每个向量表示对应的用户是什么类型的人。它将用户的喜好、想法和感受,联通希望和恐惧,封装成一个毫无情感的numpy.array[]数组。

为了更好地理解这一点,让我们放大一个特定的用户向量,假设e = 3:

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

这里,矢量的三个分量是[100, 0, 50] 。 每个组件代表用户的一些特征,机器通过查看ta之前的评级来学习。

假设这三个组件具有以下含义:

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

我们可以解读出,这个用户显然喜欢动作片,对浪漫电影不是很喜欢,也喜欢喜剧电影,但不像动作电影那么多。

这就是机器学习模型理解人类的复杂性的方式:将其嵌入到e维向量空间中,然后相乘。

e越大,捕获的用户数据就越多,计算所花费时间也就越长。

接着我们就可以再来使用基于邻居的算法,找出电影的属性,再去和用户喜好对比。

假设我们有一部电影m,它的矩阵是这样

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

解释成人话就是

淘宝京东亚马逊是如何通过机器学习掌握用户喜好的?

所以m应该是一部浪漫喜剧电影,用户u可能就不会喜欢。

算法之美,人性之美

协同过滤将我们人类的情感感念,喜欢、讨厌、恐惧、激动等等,全部转化成一个个的毫无波澜的矢量矩阵。

两个矩阵只是简单的相乘,就能预测一个人的喜好,简直不可思议!在不知道的地方,我们都是同一线性向量空间的元素。

那个地方,有美。

如需查看英文原版,请点击下方”阅读原文“链接

原文发布于微信公众号 - 新智元(AI_era)

相关推荐