技术|“推荐算法”究竟是什么？这篇科普报告帮你快速了解
算法是否能服务人在获取信息时对效率提升、公平发展的诉求？
今年 ， 在中国人民大学高瓴人工智能学院举办的“推荐算法社会价值与可持续发展”研讨会上 ， 我们发布了《算法向善与个性化推荐发展研究报告》（下称《报告》） 。
在这份算法科普性报告中 ， 课题组围绕这些热点问题进行了探讨 。
1. 算法是什么？我们为何需要算法？
互联网数据中心发布的《数据时代2025》报告显示 ， 全球每年产生的数据将从2018年的33ZB（十万亿亿字节）增长到175ZB ， 相当于每天产生491EB（百亿亿字节）的数据 。
在本质上 ， 算法是“以数学方式或者计算机代码表达的意见” 。 其中 ， 推荐系统就是一个信息过滤系统 ， 帮助用户减少因浏览大量无效数据而造成的时间、精力浪费 。
文章图片
小学时用数学公式解决“鸡兔同笼”问题 ， 就运用了算法思维 。
文章图片
推荐算法帮助“宝妈”节省信息搜索时间 2. 推荐技术发展历史上的关键事件有哪些？
“信息过载（Information Overload）”是在上个世纪80、90年代就已经存在的概念 。 随着信息技术和互联网的快速发展 ， 人类从信息匮乏时代走向了信息过载时代 。
《报告》研究指出 ， 早期的研究提出了通过信息检索和过滤的方式来解决这个问题 。
到了上世纪90年代中期 ， 研究者开始通过预测用户对推荐的物品、内容或服务的评分 ， 试图解决信息过载问题 。 推荐系统由此也成为独立研究领域出现了 。
文章图片
推荐系统发展历史 3. 推荐系统的核心技术有哪些？
在《报告》看来 ， 推荐系统发展至今 ， 其核心技术可大致分为“基于协同过滤的推荐方法”、“基于内容的推荐方法” ， 以及“混合推荐方法” 。
基于协同过滤的推荐方法 ， 本质是根据相似的用户具有相似的喜好 ， 推荐给他们喜欢的物品、内容或者服务 。
文章图片
基于协同过滤的推荐方法
【技术|“推荐算法”究竟是什么？这篇科普报告帮你快速了解】基于内容的推荐方法：根据项的相关信息（描述信息、标签等）、用户相关信息及用户对项的操作行为（评论、收藏、点赞、观看、浏览、点击等） ， 来构建推荐算法模型 。
文章图片
基于内容的推荐方法
混合推荐方法：衡量各推荐方法的利弊 ， 扬长避短 ， 通过加权、切换、混杂、特征组合等方式避免或弥补各推荐技术弱点 ， 进一步提升推荐方法性能 。
文章图片
混合推荐算法 4. 什么是个性化推荐算法？
纵观推荐系统的发展历史 ， 可将其大致分为非个性化推荐系统和个性化推荐系统 。
其中 ， 个性化推荐系统 ， 就是为每一个特定用户提供特定的服务 ， 实现‘千人千面’ ， 服务个性化诉求 。
文章图片
在个性化推荐算法下 ， 不同人搜索“京剧”一词结果不同 5. 推荐算法 ， 是否注定会导致信息窄化？
在外界的印象里 ， 个性化推荐就像漏斗一样 ， 会将推荐内容与用户相匹配 ， 倾向于向用户推荐高度符合其偏好的内容 ， 致使推荐的内容越来越窄化 。
但与外界的固有认知相反 ， 《报告》认为在行业实践中 ， 互联网应用（特别是位于头部的大型平台）有追求算法多样性的内在动力 。
在对行业内代表性应用的数据分析后 ， 《报告》表明 ， 阅读内容的类型数量是否够多、所阅读内容类型的分散程度是否够高 ， 与用户是否能长期留存关联密切 ， 呈正相关 。 上述两项指标对用户长期留存的作用 ， 可以与信息的展现总量、用户的停留时长、用户阅读量等指标的影响相媲美 。
推荐技术并不是单纯地“投其所好” 。 在一些专家看来 ， 在推荐已知的用户感兴趣内容基础上 ， 如果能深入激发、满足用户的潜在需求 ， 那么算法就能更好地满足人对信息的多维度诉求 。
文章图片
贵州返乡创业青年丁浪用抖音号@黔东农仓 记录腌蒜苔制作过程 。 在推荐系统的帮助下：1）视频能被准确推荐给对乡村美食、农特产品感兴趣的用户；2）用户能顺势在同屏搜索框中搜索、了解蒜苔烹饪相关内容 ， 扩展相关知识 。6. 算法如何服务人对安全的诉求？
在人工智能技术快速发展的今天 ， 内容安全一直是公众关注的重点 。
《报告》观察发现 ， 当前很多内容创作与分发平台 ， 从创立之初就将用户和内容安全问题视为最高优先级问题 。
以今日头条为例 ， 在内容安全技术方面采用了鉴黄模型、谩骂模型以及低俗模型等内容识别技术 。 抖音安全中心则自主研发反欺诈模型、风控策略 ， 结合抖音产品功能、内容属性、用户行为特征 ， 对欺诈行为进行主动拦截 。
文章图片
抖音安全中心通过算法技术主动拦截欺诈行为 7. 推荐技术如何服务人对公平的诉求？
《报告》认为 ， 推荐系统中的“公平”是站在不同角度定义问题 。
比如在招聘网站上 ， 求职者方可能将公平定义为“相同的学历和能力可以被推荐类似的工作 ， 而不受国籍、种族和性别等偏见”；对于招聘方 ， “公平”可能为“系统可以将他们的招聘信息推给优质的求职者 ， 而不会因为公司的背景等因素 ， 只将招聘信息推给不太合适的求职者” 。
从关注的角度出发 ， 《报告》认为公平性可分为“用户角度”、“物品角度”这两种公平性 。
用户偏好放大是针对用户方（user）的公平性问题 ， 体现为用户搜索了一样东西后 ， 接下来一段时间的推荐都与该物品相关 。 流行度偏差 ， 则通常是针对物品方（items）的公平性问题 ， 体现为推荐系统更多推荐较为流行的物品 ， 而不流行的物品有较少的机会被推荐或展示 ， 造成推荐系统中的“马太效应” 。
当前 ， 学界对算法公平性的研究与探讨正不断深入 。
麻省理工学院（MIT）在2021年发布的十大突破技术（10 Breakthrough Technologies）中指出 ， TikTok推荐算法能够使普通人发的内容有机会受到名人般的关注并流行起来 ， 这是内容公平性的体现；而需求较为小众、细分的用户 ， 也能看到符合自己兴趣的内容 ， 则是用户角度公平性的体现 。
文章图片
文章图片
在抖音等国内短视频直播平台上 ， 也能看到更多推荐系统服务“用户”、“物品”公平的案例
来源：中国人民大学高瓴人工智能学院
推荐阅读
- 电子商务|跌破发行价、市值蒸发千亿 泡泡玛特如何延续神话？
- IT|真的要叫“辣馒头”？上汽大众开启凌度L昵称征集活动
- 夜生活|无人机秀“热潮”：从点燃“夜生活”到无限可能
- 手机号|数字人民币全覆盖冬奥场景！碰一碰、扫码付、网络购，便捷实现非接触支付…无银行账户也可申领“钱包”
- 硬件|韩国政府将追踪芯片工程师行程以防技术泄露
- Tesla|特斯拉计划开发自主App商店 打造软硬件“生态链”
- 数字|三部门：开展钢铁行业智能制造行动计划 推进5G、数字孪生等技术应用
- 技术|水下火炬传递机器人有颗“河工芯”
- IT|冰墩墩爆火 线上线下“一墩难求” 相关上市公司受益
- IT|国产压雪车显身手 在冬奥赛场做出“雪拉面”