在我們的認知中，政府、經濟體系等大規模社會系統就應該由人類主導，產生滿足人類偏好的結果。但在AI時代，這個命題就逐漸站不住腳了。

原因在于，人類與這些系統的目標一致性并不是自發的，而是仰賴于兩種有效維持目標對齊的方式：明確的人類行為（如選舉和消費者用腳投票），以及經由人類勞動和認知過程隱式方式。

我們之前所討論的AI對齊大多是顯性的，例如讓LLM拒絕回答那些會威脅社會和他人安全的問題。然而，若上述的社會系統對人類認知的依賴減少，同時更加依賴AI所做決策，那么人類對它們調整的能力也會降低。

此外，若這些系統已經在人類不自知的情景下，獎勵那些對人類有害的結果（例如短視頻成癮），從而更有效地遵循其預設目標（獲得更多用戶時長），可能使結果進一步偏離人類偏好，這就是本文要討論的AI的「隱性對齊」。

如果上述的社會體系越來越不協調，尤其是在相互關聯的方式下，就很可能會導致人類失去權力：無法有意義地指揮資源或影響結果。

如果失權的狀況愈演愈烈，甚至基本的自我保護和生存都可能無法保證。這種結果與AI顯性對齊的失敗一樣，會對人類的生存構成威脅。

對此，多倫多大學、Mila等機構的新論文提出了一個概念——「漸進式失控」（Gradual Disempowerment）：即使AI能力只是逐步提升而非突變，也可能導致人類在經濟、文化、國家治理等關鍵社會系統中逐漸失去影響力，最終引發不可逆轉的災難。

論文鏈接：https://arxiv.org/pdf/2501.16946

AI如何步步蠶食人類權力

機器對人類的取代以及人類影響力的喪失，體現在幾乎所有社會功能中，如經濟勞動、決策、藝術創作甚至陪伴等方面。

隨著AI在越來越多的崗位上的競爭力逐漸超過人類，我們可能會失去賺取參與經濟活動所需收入的主要手段，這對應著勞動在收入中所占的份額下降，以及家庭消費能力的結構性下降。

推動經濟的主要因素是隱性的人類偏好，這些偏好體現在消費者行為中。目前，產品推薦、交易和物流等自動化算法會幫助我們做出一小部分選擇，但人類的決策和行動仍掌控著大部分話語權，這使得我們幾乎難以想象一個AI算法控制大部分經濟活動的世界。

圖1：一個簡化的未來軌跡模型，其中AI取代人力勞動，未自動化任務的比例在固定時間內降至零。注意，在初始階段工資增長，但在達到完全自動化之前會下降

縱觀人類歷史，技術和文化之間的關系是一種復雜的相互作用。技術被文化演化所塑造，反過來也極大地塑造了文化。

比如，印刷機調節了文化的傳播方式，攝像機開啟了攝影藝術從而創造文化，以及網絡分析技術幫助我們追蹤文化。

這些轉變無疑對文化和歷史的發展產生了巨大影響，但作者認為，AI不能與以往的技術相提并論：以前，技術始終是調節文化參與的工具，人類仍然占據主導的、不可或缺的地位，但AI不僅能夠補充，而且還會逐漸取代人類認知在文化進化中扮演的所有角色，這是前所未有的。

因此，文化逐漸向以AI導向的轉變，可能會極大地削弱那些讓文化與人類利益保持一致的反饋循環。最簡單的例子就是AI生成的文本，在數量、針對性甚至質量上相比人類創作的內容展現出壓倒性的優勢。

你可能會反駁了：多數人使用GenAI創作時并非完全交給AI生成，而是將其作為輔助工具，決策權不是還在人類手中嗎？

文章指出，即使是AI協助人類創作的情況，也會微妙地引導創作內容——提出措辭、影響審美選擇，甚至塑造創作過程本身。

隨著AI系統能力和自主性的逐漸提升，我們甚至可以期待人機交互份額的增長，以及AI在文化活動中的獨立參與這個過程與經濟領域類似，都不會是一蹴而就，而是「溫水煮青蛙」型的漸變。

目前，AI對我們日常生活的主要影響似乎更多關乎文化和經濟。這篇文章中，作者大膽開腦洞，設想了未來的AI將如何在國家治理和宏觀經濟領域粉墨登場。

如前所述，人類與文化之間存在維持目標一致性的反饋循環，政治和經濟領域也是如此。

歷史上，國家一直依賴人類公民提供基本資源：經濟和管理所需的勞動力、稅收，以及軍事服務；現代國家和機構盡管形式多樣，但也都服務于人類需求和價值觀。

然而，「對齊」人類利益并非政治系統的固有特征。相反，這是反饋循環中人類參與的副產品。

未來，AI可以逐漸取代人類能提供的一切：比如成為稅收來源，同時在軍隊和警察系統中逐步通過自動化的武器和監控設施獲得自主權，甚至改造人類所建筑的法律體系。

最初是AI輔助律師起草合同、解釋法律條文，隨之逐漸在起草法案及做出司法決定上發揮重要作用。這不僅可能削弱立法和司法系統中的人類參與和自主權，還可能使法律體系變得越來越陌生、復雜，讓人類的參與和互動更加困難。

系統性風險如何應對

經濟、文化和國家治理等社會系統之間存在著復雜的相互作用，例如，經濟領域的AI發展可能會推動文化領域的AI應用，而文化領域的變化又會影響國家治理的方向。這種相互作用可能會加劇「漸進式失控」的風險。

具體而言，人類在任何一個領域的影響力下降都可能引發其他領域的連鎖反應，像滾雪球一樣越滾越大，最終導致人類在整個社會系統中逐漸失去掌控力。

以經濟和文化為例，當AI在經濟領域占據主導地位后，可以通過廣告、營銷等手段進一步影響文化價值觀，使文化更加傾向于支持AI的發展；同時，AI在文化領域崛起，又會使濟資源更多地流向AI產業。

這種相互作用形成的正反饋循環不僅加速了AI的擴散，也使得人類在經濟和文化領域的影響力被進一步削弱。

類似的，在國家治理與經濟、文化之間也存在著類似的相互作用。國家治理系統可能通過政策支持AI在經濟和文化領域的應用，而AI在這些領域的成功又會增強國家治理系統對AI的依賴。

文章提出，這個系統性的「漸進式失控」過程，亟需一個系統性的解決方案，包括跨學科的研究和國際合作。人類的未來，取決于我們能否確保基本社會系統在人類價值觀和偏好的有意義指導下進行演變。

這既是技術挑戰，也是更廣泛的文明挑戰，需要我們仔細思考，在日益自動化的世界中，人類如何保持真正的影響力。

那么在實際中，有哪些具體的措施和行動可供參考呢？

首先，是對AI的有效監控。

在經濟領域，可以監測AI在GDP中的占比以及人類在重大經濟決策中的參與度；在文化領域，可以跟蹤AI輔助創作的文化產品的比例；在國家治理領域，可以評估AI在法律、政策和安全系統中的作用。而這些都需要工具和研究方面的投資，以提高人類對復雜系統的理解和預測能力。

其次，需要通過技術手段和治理措施來限制AI的過度發展。

例如，可以通過監管框架強制要求AI在關鍵決策中保留人類監督，限制AI在特定領域的自主性。同時，可以通過稅收等手段調節AI產生的收益，將資源重新分配給人類，以維持人類在經濟領域的競爭力。

結語

這篇文章最關鍵的觀點其實落于一點：人類的失權可能不需要等到AGI降臨，漸進式的AI發展也可以「溫水煮青蛙」一樣逐步削弱人類的關鍵影響力，從而威脅我們的生死存亡。

作者提出的「漸進式失控」是一種更新穎的概念，為審視AI發展的風險提供了全新視角。與以往的「突然失控」論調不同，這種風險更加隱蔽、更加難以察覺，但卻同樣具有毀滅性。

這種失控，不需要由AI任何的惡意行為驅動，而是由個人和機構遵循其局部激勵所導致，本質上是社會系統中許多微小變化的累積效應，以及系統間的惡性循環。

這意味著，有效預防這些風險需要付出巨大努力，包括更多的研究、數據收集、國際協調、全面監管以及基于新穎基礎研究的重大社會干預。

或許每個人都需要思考，如何在享受AI的便利和效益的同時，確保人類仍能保持核心的地位和影響力。