推荐系统简介
什么是推荐算法
为了解决信息过载和用户无明确需求的问题,找到用户感兴趣的物品,于是有了个性化推荐系统。
解决信息过载的问题,代表性的解决方案是分类目录和搜索引擎。 - 类目导航:用户主动按类目逐层查找 - 代表性公司:雅虎,新浪,搜狐,网易 - 搜索:用户主动提供意图明确的 query - 代表性公司: Google - 推荐:系统主动提供给用户一种选择 - 代表性公司: Netflix,今日头条 - 推荐的优势 - 用户大多数情况下并没有明确的意图 - 推荐可以给帮助用户发现,带给用户惊喜
例如:你想吃什么,随便! 面对这种很随便又得罪不起的用户(女友和上帝),只能通过分析用户的历史行为给用户的兴趣建模,从而主动给用户推荐能够满足他们兴趣和需求的信息。
推荐系统任务是联系用户和信息,一方面帮助用户发现对自己有价值的信息,另一方面让信息能够展示在对它感兴趣的用户面前,实现信息消费者和信息生产者的双赢。
推荐系统的发展
- 推荐系统在不同领域的探索
- 1992年,Goldberg提出第一个(个性化邮件)推荐系统Tapestry,第一次提出了协同过滤的思想,利用用户的标注和行为信息对邮件进行重排序
- 1994年, Resnick等人提出了针对新闻消息的协同过滤推荐系统 Grouplens
- 1996年,在 Berkeley的协同过滤专题讨论会上,提出了推荐系统这一概念。
- 推荐系统的商业化
- 1995年,MIT的 Pattie maes研究小组创立了 Agents公司(后来更名为 Firefly networks)
- 关注技术问题:降低在线计算时间,冷启动问题,可信度、可解释性等用户体验问题。
- 推荐系统的学术研究
- 2006年, Netflix的百万美元竟赛
- 2007年, j. A. konstan等人组织了第一届ACM推荐系统大会( Rests)
- 推荐系统的未来:基于上下文的推荐(情景推荐
- 人们开始更多关注推荐系统是否真正满足用户的需求
推荐系统的应用和价值
- 推荐的应用
- 音乐、电影的推荐
- 电子商务中商品推荐
- 个性化阅读(新闻消息)
- 社交网络好友推荐、朋友圈推荐
- 基于位置的服务推荐
- …
- 推荐的价值
- Netflix:2/3的电影是因为被推荐而观看
- Google news:推荐提升了38%的点击
- Amazon:销售中推荐占比高达35%
推荐系统核心问题
- 如何评估一个用户(user)对一个物品(item)的评分(喜欢程度)?
推荐系统的评价标准
- 用户满意度( User satisfaction):调研或用户反馈;点击率、转化率等
- 准确性( Accuracy):prec|Sion/ recall //F- score
- 覆盖率( Coverage):照顾到尾部物品和用户
- 多样性 Diversity):两两之间不相似
- 新颖性( Novelty):没听过、没见过的物品
- 惊喜性( Serendipity):如何评价?
- 用户信任度( Trust)冋可解释性( explanation):推荐理由
- 鲁棒性/健壮性( Robustness):哈利波特现象;抗攻击、反作弊
- 实时性(Real-time/ online):新加入的物品;新的用户行为(实时意图)
- 商业目标( business target):一个用户带来多少盈利
参考文献
《常用推荐算法(50页干货)》by 常征
link
《推荐算法实践》by项亮