太长不看版
本文揭示了推荐系统流行度偏差放大的原因,我们发现:
1. 流行度存储效应:推荐模型的评分矩阵的最大奇异向量(第一主成分)与物品的流行度向量高度相似,流行度信息几乎完全由主特征向量所捕获。
2. 流行度放大效应:维度缩减现象加剧了流行度偏差的“放大效应”,主要源于推荐模型中用户和物品 Embedding 的低秩设定以及优化过程中的维度缩减。
为了解决这个问题,我们提出了一种基于正则项的方法——ReSN,通过在推荐模型的损失函数中引入谱范数正则项,约束评分矩阵的谱的权重(最大奇异值),从而缓解流行度偏差。
论文地址:
研究动机
比如,在 Douban 数据集中,前 0.6% 热门物品占模型推荐物品的超过 63%,前 20% 的热门物品占了推荐列表的 99.7%!这导致冷门物品几乎无缘被推荐,用户陷入“信息茧房”,无法发现更多新鲜、有趣的内容。
实验还发现训练过程中的奇异值分布动态:早期主奇异值快速增长,这与热门物品的优先推荐趋势一致。随着训练继续,尾部奇异值增长滞后,流行度偏差仍保持较高水平。
我们也从理论角度建立了奇异值分布与推荐中热门物品比例之间的关系,感兴趣的同学们可以看原文。
新方法:基于约束谱范数的纠偏方法ReSN
ReSN 方法不依赖后处理,直接在训练中去偏,从源头解决问题。
高效轻量,避免了庞大矩阵的直接计算,训练效率高!
实验亮点
在七个真实数据集上的实验验证中,ReSN 全面优于其他方法。
帕累托曲线:深入探究准确性-公平性之间的权衡
总结
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
(文:PaperWeekly)