?作者 | 汪昊

審校 | 孫淑娟

推薦系統(tǒng)公平性是 2017 年以來爆火的人工智能研究領(lǐng)域。知名的人工智能公司比如 Twitter, Google, IBM和百度，都創(chuàng)立了人工智能倫理團(tuán)隊(duì)或研發(fā)了人工智能倫理產(chǎn)品。然而讓人遺憾的是，人工智能倫理研究在國(guó)內(nèi)起步較晚，跟國(guó)外相比，目前仍然存在著一定差距。

排序?qū)W習(xí)是在 2010 年左右爆發(fā)的機(jī)器學(xué)習(xí)技術(shù)，在推薦系統(tǒng)和信息檢索領(lǐng)域都得到了廣泛的應(yīng)用。在最近幾年，排序?qū)W習(xí)成為了熱門的人工智能倫理研究算法基準(zhǔn)。

本文將要介紹的是 2022 年在國(guó)際學(xué)術(shù)會(huì)議 CISAT 2022 (International Conference on Computer Information Science and Application Technology) 發(fā)表的論文 Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems。本文主要講解了如何結(jié)合帕累托分布和排序?qū)W習(xí)實(shí)現(xiàn)公平的排序?qū)W習(xí)推薦算法。

圖1. MovieLens 數(shù)據(jù)集觀影評(píng)分差概率分布

我們根據(jù)觀察（圖1）和統(tǒng)計(jì)學(xué)理論（齊夫分布的統(tǒng)計(jì)估計(jì)）可以得到如下結(jié)論： 同一個(gè)用戶對(duì)不同物品的評(píng)分差的概率分布正比于評(píng)分差。我們修改概率矩陣分解的損失函數(shù)，得到我們發(fā)明的新算法帕累托排序?qū)W習(xí)（Pareto Pairwise Ranking）的損失函數(shù)公式：

把我們剛才的觀察帶入到損失函數(shù)公式中，我們得到如下?lián)p失函數(shù)公式：

我們把 L 取對(duì)數(shù)，得到如下公式：

我們利用隨機(jī)梯度下降公式求解損失函數(shù)對(duì)數(shù)，得到如下公式：

帕累托排序?qū)W習(xí)的算法流程如下：

圖2和圖3顯示的是帕累托排序?qū)W習(xí)在 MovieLens 1 Million Dataset 數(shù)據(jù)集上的測(cè)試結(jié)果。論文作者對(duì)比了 10 種推薦系統(tǒng)算法，發(fā)現(xiàn)帕累托排序?qū)W習(xí)算法在公平性指標(biāo)上表現(xiàn)最好。

圖 4 和圖 5 顯示的是帕累托排序?qū)W習(xí)在 LDOS-CoMoDa 數(shù)據(jù)集上的測(cè)試結(jié)果。帕累托排序?qū)W習(xí)算法在公平性指標(biāo)上的表現(xiàn)依然最好。

帕累托排序?qū)W習(xí)算法是國(guó)內(nèi)少見的基于公平性的排序?qū)W習(xí)推薦系統(tǒng)算法。算法原理簡(jiǎn)單，實(shí)現(xiàn)簡(jiǎn)便，運(yùn)行速度快。作者在 16G RAM 和 Intel Core i5 的聯(lián)想筆記本上測(cè)試，執(zhí)行速度飛快。人工智能倫理研究在國(guó)際上目前是研究熱點(diǎn)，希望引起大家的足夠重視。

作者簡(jiǎn)介

汪昊，前 Funplus 人工智能實(shí)驗(yàn)室負(fù)責(zé)人，在 ThoughtWorks, 豆瓣，新浪，網(wǎng)易等公司有超過 11 年的研發(fā)和管理經(jīng)驗(yàn)。在推薦系統(tǒng)、聊天機(jī)器人、風(fēng)控反欺詐領(lǐng)域有豐富的技術(shù)經(jīng)驗(yàn)。在國(guó)際學(xué)術(shù)會(huì)議和期刊上發(fā)表論文 30 篇，獲得最佳論文獎(jiǎng)/最佳論文報(bào)告獎(jiǎng)3次。2006 年 ACM 區(qū)域賽金牌。本科和碩士畢業(yè)于美國(guó)猶他大學(xué)。對(duì)外經(jīng)貿(mào)大學(xué)在職 MBA。