一個悲傷的故事，英國14歲少女 Molly Russell 在2017年令人意外的選擇了自殺，我們可能很難想象究竟會是什么樣的事情能讓一個涉世未深的小女孩走上絕路。

之后的發現，在Molly自殺之前曾在網上搜尋關于自殺和自殘的圖片，這些圖片甚至通過一些她喜歡的社交平臺被推薦出來。即便是在 Molly 去世之后的幾個月里，Pinterest 依然在自動推送給她一些電子郵件，內容也是關于自殘相關的圖片，甚至打開Molly 的Instagram，Feed流中也充斥著大量相關的內容。

[[258314]]

悲劇發生之后，Molly 的父親認為Instagram和Pinterest 是殺害他女兒的幫兇。

我始終堅持，技術無罪。但當算法認為你想死的時候，我們又該怎么辦?

Molly 的悲劇讓人有一種說不出來的無奈，甚至有些氣憤。據此衍生出一個新的論點——Instagram和Pinterest等社交平臺正在加劇年輕人“ 精神健康危機 ” 。英國青少年的自殺率是八年前的兩倍，社交媒體被認為是英國“自殺一代”崛起的一個原因。

Molly的去世，讓很多人注意到了所謂大數據、算法的問題。英國衛生部長 Matt Hancock 表示，社交媒體需要清除這些極其負面的內容，而不這樣做將會面臨重大訴訟。在此之前，Instagram的規則只是反對“美化”自殺和自殘，而現在已經直接禁止。

但簡單的禁令并不能解決這些問題，社交平臺不僅僅會托管這些負面內容，而且在推薦算法的指引下，這些內容也最終會呈現給最容易受到影響的人。推薦是一種更主動的行為，而不只是單純的可獲得性。越來越多的學術文獻證實了這一點：無論是自殘、謠言、招募恐怖分子還是某種陰謀論，平臺所做的不僅僅是讓這些內容容易被找到，因為算法的存在，社交平臺一定程度上有助于擴大這些內容的傳播。

[[258315]]

我們試圖去探索Instagram，Pinterest和Tumblr等如何向用戶推薦這些負面內容，發現這些社交平臺針對自殺、自殘類的內容有一些限定規則，通過屏蔽一些關鍵詞或者標簽來使用戶更難找到，但這些內容仍然能是存在的，而且算法也會根據某種規則推薦出來。在Pinterest上被稱為“你可能喜歡的東西”，這些都是在算法驅動下根據用戶瀏覽習慣判斷用戶感興趣的內容。對于企業來說，更喜歡稱之為“智能化推薦”、“個人化服務”等等，被視為是一種使用體驗的提升。

例如，當你搜索家裝靈感，很快在信息流中你會看到各種油漆樣本相關的圖片，還會進一步推薦業余室內設計師。這意味著，當用戶越頻繁搜索自殺或者自殘等負面內容時，算法更加會判斷你所喜歡的是這類東西，然后通過不同方式推薦給你。

正如Molly的父親發現的，社交平臺的推薦算法并沒有區別對待。社交平臺所展示“你可能喜歡的”內容，可能它本身就違反了自己的預定的規則。

[[258316]]

試想一下，如果你是那個試圖在社交平臺尋找自殘類型負面內容的人，系統推薦算法在得知這種趨勢之后，反而為你推薦的是陽光積極的內容，教你重塑健康的心理狀態，算法建議的可能并不是你當時所想看到的內容，但它會引導你走向一個比較正確的狀態，或許這就是算法真正應該做的事情吧。

在現在的互聯網世界，很多人更愿意在社交平臺去傾訴或者發泄內心的想法。社交媒體就會成為一個擺在他們面前的鏡子，這面鏡子能夠直接反映用戶的心理狀態，還可以放大或者扭曲它。而這兩種截然不同的導向均取決于算法如何去引導，當算法覺得你想死，我們能更希望算法能做一個思想的引導者，而不是繼續把用戶帶到死神面前。

算法應當具備價值觀底線。

當然，這樣的前提是，社交平臺所設定的禁令規則是***的，那么算法建議所展示的僅僅提供用戶最可接受的內容，而實際情況卻并非如此。

內容審核非常困難，可接受和令人反感這兩種規則之間的界限可能很多時候都是模糊不清的。即便設立人工審核機制，大型社交平臺每天新發布的內容有成千上萬條，審核者需要在幾秒鐘甚至更短的時間里判斷出是否影響用戶心理健康的，這樣的內容實在太多，不僅僅是自殘類型，日復一日，總會有遺漏的內容。

以Molly的悲劇為例，社交平臺的禁令不僅不夠完善，甚至還可能間接造成更多悲劇發生。很多試圖自殘或者有自殺傾向的人通過網絡找到了巨大的情感支持以及繼續生活下去的動力。通過建立小范圍的社交圈來互相抱團取暖，甚至最終走出陰霾。對于這些人來說，社交平臺更是唯一發出求助呼聲的渠道。一味的禁止會擠壓這些群體的存在，在缺乏同類之間的交流和接納感時，則會深陷自己的消極精神世界無法自拔最終導致悲劇發生。

所以，現在的問題不只是簡單的讓這些內容消失。而是平臺需要更好地識別哪些內容在什么時候更適合呈現給哪些群體，當搜索的內容和算法推薦的內容不同時，平臺還需判斷這些內容是否對某個人有利的同時卻對整個公眾有潛在威脅。

我們沒有充分討論推薦系統，也許是因為這些現在已經非常普遍，也可能是因為大多數用戶不了解其工作方式。我們可能會嘲笑Facebook 推薦給我們已經購買的亞馬遜產品，也許不喜歡Spotify 覺得我們喜歡悲傷的音樂，因為即便你只是有過一次特定的行為，算法就已經開始以此為依據判斷你的興趣推薦更多的東西。

[[258317]]

在《壓迫算法》中，Safiya Umoja Noble 批評谷歌在其搜索結果中放大了種族刻板印象;《Twitter and Tear Gas》的作者Zeynep Tufekci 強調了YouTube 放大陰謀理論和極端主義內容的傾向，認為其推薦算法“以不斷增加風險的方式宣傳、推薦和傳播視頻”。

類似的探討越多越好，這些推薦內容會對心理不那么健康的人帶來什么影響，人們看法有所不同。有人認為自殘的圖很容易看到，有人卻覺得很難遇到，而多次看到更是難上加難。

現在經營者Instagram的Adam Mosseri承認，該平臺不是單純地“需要處理自殺和自殘問題”。Pinterest發言人表示：“我們現有規則已經不允許任何鼓勵自我傷害的內容。但是，我們知道這些政策是不夠的。我們剛剛進行了重大改進，以防止我們的算法在用戶的主頁Feed中推薦敏感內容。我們將很快采用更主動的方式來檢測和刪除它，并為尋找它的人提供更多富有情感的支持。單靠我們自己不可能做到這一點，這就是我們與心理健康專家合作使我們的方法更有效的原因。“

但是，這些改變會變的越來越難。算法推薦已成為社交媒體將用戶留在自己平臺的的主要手段，它不太可能消失。這些算法經過優化以滿足個人用戶的需求，為集體利益優化它們要困難得多。社交媒體公司還需要更多關于心理健康的知識，以更好地區分令人反感和有價值的內容，并更好地認識到這些平臺可能對精神疾病患者造成的影響。這是Instagram 承諾的舉措，他們必須堅持到底。

[[258318]]

人們不只是在尋找內容，可能還在等一個答案甚至在尋找一個生活下去的動力。當算法認為一個人想死的時候，它至少應該學會告訴他：不，你不想。