算法入侵,不如拥抱、打造更好的个性化推荐系统?

2021-07-08 15:30:10 浏览数 (1)

不知道你们意识到没有,我们生活在一个

算法入侵人类的时代

❤️✖️?

此时此刻,算法正在监视着你。她们监视你去哪里、买了什么、遇见了谁,包括你的每一次呼吸、每一次心跳。

算法通过大数据和机器学习来更好地了解你。算法一旦比你更了解你自己,她们就能控制和操纵你,而你将对此无能为力。

刷头条、抖音,逛淘宝,时时刻刻都有推荐系统的参与,猜一猜你喜好,给你推荐可能购买的商品。推荐系统,就是这么一种算法,不断地给你推荐相似的东西。个性化推荐是诸多内容网站和应用的关键技术,可以减轻用户信息过载、提升内容的点击率。

典型的推荐系统流程

? 推荐系统的商业价值

我们知道构建推荐系统是非常复杂的,它需要大量的人员、技术和资金的投入。如此巨大的投入值得吗?来看一组数据:

□ Netflix客户观看的电影有2/3是由推荐系统推荐的。

□ Google新闻上有38%的点击是由推荐链接。

□ 亚马逊35%的销售量来自所推荐的产品。

□ ChoiceStream销售数据:有28%的用户通过推荐系统购买喜欢的音乐。

这就是基本所有数字化产品都要搭载推荐系统的原因所在,实在是太有用了!

? “作恶”的推荐系统

当企业意识到推荐系统对商业增长的巨大价值,情况就变得不怎么美好了,技术被滥用。正如Eli Pariser于2010年在《别让算法控制你》中提出的过滤气泡所说,用户沉浸在符合自己偏好的信息世界中,难以主动突破壁垒寻找新的信息。

过滤气泡

根据用户的使用时间、地区及浏览习惯生成用户画像,并通过算法推荐技术为其呈现独一无二的界面体验的一整套技术。

其实不然,“作恶”的原因是设计推荐系统的出发点是为了追求商业价值的增长。

? “向善”的推荐系统

个性化推荐技术也可以被使用在非常正义的事情上。我们看最近的一则新闻:

一名因寻衅滋事潜逃达半年之久的疑犯,与朋友吃饭唱歌时被拍成了短视频,被民警无意看到。警方通过对短视频内的场景寻线追踪,成功将这名涉案嫌疑人抓获。

基于lbs,个性化推荐系统给了这位民警可能会感兴趣的短视频,然后果然是相关性非常高,成功追踪到了嫌犯。我们稍微梳理下,推荐系统应用于破案中的使用:警方通过输入疑犯的特征,包括体型、肖像、出没场所、其他特征,推荐引擎从海量的视频中寻找线索,然后结构化结果,辅助警方破案。

推荐系统,还有更多有价值的应用场景。

知识引擎

个性化搜索=搜索引擎 推荐系统

?✖️?

信息检索使用最广泛的是搜索引擎,需要用户主动提供准确的关键词来寻找信息。但是当用户无法提供准确描述自己需求(兴趣)的关键词时,搜索引擎就无能为力了。

而推荐系统则不需要用户提供明确的需求,它是通过分析用户的历史行为建模,从而主动推荐给用户能够满足他们需求(兴趣)的信息。

可以说,推荐系统和搜索引擎对于用户来说是两个互补的工具。

两者结合,按先后顺序,一种情况是搜索引擎对推荐系统的结果进行重新排序,以过滤掉不相关的推荐,并推送与query匹配的物品。另外一种是搜索引擎返回最佳匹配的候选集,再由推荐系统重新排序,以更好地适应每个用户的需求(兴趣)。

不同用户得到不同的搜索结果

两种结合方式

推荐系统和搜索引擎两者结合,应用在学习上,因材施教,帮助用户遇见更好的自己,变得具有长远价值。

首先,我们需要回答下:学习的目的是什么?考试?跳槽?升职?

孔子有句:三年学,不至于谷,不易得也。说的是一般人跟随孔子求学的目的,不是为了学问本身,而是为了功名利禄。

南怀瑾为我们阐明了教育的最高目的——培养人性。因为人心不同,各如其面,人与人的差距在于人性,教育是我们培养人性的途径,学习使我们修身养性、明辨是非,遇见那个不曾遇见的更好的自己。

其次,学习和娱乐的关系。学习就像我们平时除了工作之外,还要玩游戏、看电视,休闲娱乐一样,娱乐为的是放松,学习为的是增长。

基于以上2点,我在早些年参与了一款产品:知识引擎。知识引擎是什么?以美食作为类比,对标知识领域的产品:

樊登读书会就是在快餐和小炒之间。

混沌研习社就是卖厨子的个人IP,

得到就是一条美食街。

知识引擎更像是自助餐。

在自助的方式下,我们使用人工智能技术,让这一过程更加便捷和容易。知识引擎帮助用户把个人的知识进行重构、链接。

具体来讲,知识引擎不像今日头条、抖音之类的个性化推荐,会不断给你推荐你所关心的内容,从而促成交易。

知识引擎更关注你的知识短板,帮助补齐个人知识网络中的空缺部分,从而不断拓展知识边界。知识引擎是一个推动用户学习的引擎,帮用户加速学习,拓展用户的知识边界。

除了学习,在学术研究方面,推荐系统大有作为。

发现艺术品之间的隐藏联系

基于相似性的推荐系统

一款名为MosAIc的AI系统,可在百万幅画作中寻找,并在主题、图案和视觉样式中找到意想不到的相似之处。

MosAIc找到了荷兰双面印度榕树(一种来自18世纪末的匿名服装),发现它与中国陶瓷雕像相似。这种联系可以追溯到16世纪和20世纪之间瓷器和肖像画从中国到荷兰市场的流动。推荐系统,帮助我们更好地研究历史,发现线索。

⚔ 如何打造优秀的推荐系统?

? 增加库存,提高推荐效率

user x item

库存的多样性、数量,决定了推荐的效率。

我们需要知道,千人千面的个性化推荐并不适合于内容多样性不足的产品(item)。推荐需要有大量的库存(item),电影封面图的推荐就是非常适合的场景,封面图从电影中自动提取,库存数量足够多。

不同用户有不同的浏览历史,通过个性化推荐技术,为每位用户推荐她/他所喜欢的电影封面图。如下所示,左边是一位用户过去看的三个内容。箭头的右边是Netflix推荐给会员的一部电影的封面图。

Netflix个性化封面图

数字产品的好处就是库存内容似乎不是瓶颈,我们看看另一个例子,希音SHEIN。

SHEIN 的衣服,能让用户在这里找到所有想要的款式。数量上,每日上新多达2.8w。款式多样性上,比如用户想要一款红色的连衣裙,就可以搜出多达 5000 多个款式。同样一件红色裙子,有深红、浅红、粉红等同色系之分,此外,还有蝴蝶袖、泡泡袖、无袖等款式区别,长度、面料、花纹、身型等细分选项,以满足各种用户的需求或偏好。

数量上

多样性上

? 使用嵌入表示技术

embedding

嵌入的概念最初是NLP领域的单词表示方法,通过使用神经网络来得到单词的低维表示。嵌入模型已被证明,经过大型文本数据进行训练后,在许多语言任务中可以获得最先进的性能。

NLP的嵌入模型是通过考虑词序和它们的共现性来训练的,这里基于一个假设,即句子中经常出现在一起的单词也具有更多的统计相关性。

来自Web搜索、电子商务和市场等其他领域的研究人员意识到,就像可以通过将句子中的单词序列作为上下文来训练单词嵌入一样,也可以通过将用户操作序列作为上下文来训练用户操作的嵌入。

例如,学习物品点击(购买或查询)的嵌入表示。这些嵌入可以被用于各种推荐场景。

Airbnb房屋的嵌入表示。假设我们给定一个数据集,目的是学习一个32维的向量表示每个房屋,每个房屋都是不一样的,同时,类似的房屋在嵌入空间中距离比较近。

Airbnb上有百万级的房屋出租,用户通过搜索生成的结果来寻找喜欢的房屋。一旦用户查看了某个房子,通过相似推荐,可以继续浏览类似的房子,不断地重复搜索、寻找相似结果,最终完成转化。搜索排名和相似房屋推荐驱动了airbnb的99%订单转化。

? 什么样的UI,适合承载推荐体验?

design

网易云音乐的歌单推荐,动静结合。左边的卡片,右上角有一个小的♾️图标,可以源源不断地推荐歌单给用户,类似于轮播的效果,而右侧的卡片可以相对静态。

动静结合的小卡片

引用熊叔给的例子。给个足够让用户信服的推荐理由。推荐理由提升了推荐系统的透明性,让用户明白为什么会推荐该种类型的内容。站在业务的角度,会更多的从促成转化入手,即什么样的推荐理由可以增加说服力,引发用户认同。

各种推荐理由

Pinterest的通过首页瀑布流的方式,为用户推荐各种用户可能喜欢的图片。

另外,pinterest还通过每日的邮件推送。通过标题、正文的文案(拟人),营造一种AI为用户写邮件推荐图片的感觉。

除此之外,我们还需要告知用户如何训练更好的推荐系统。

? 训练指南

guide

例如,Spotify为用户写的指南,注意文案的易懂性,尤其不能写得太过于技术。

- 如果你不喜欢一首歌,在 30 秒之前跳过它。30s 是个关键节点,如果在30秒之前跳过一首歌,相当于算法给它点了?。

- 听听新歌手和他们的音乐。这样算法就可以更好地学习你的行为模式。

- 提供你的年龄和位置信息。算法会根据你的年龄和地理位置推荐不同的音乐。

- 保持耐心。算法会忽略一些突然间出现的行为。所以新的收听行为可能不会立即导致你的播放列表发生变化。

从技术到设计,码了这么多字?,

算法那么好,为何还要反算法?

你们说呢?❤️


0 人点赞