就在幾個月前，ChatGPT和其他基于大型語言模型（LLM）的聊天機器人還很新奇。普通用戶喜歡用它們以著名藝術家的風格創作詩歌和歌詞；研究人員激烈討論著要炸毀數據中心，以防止超級人工智能發動世界末日；而安全專家則成功繞過聊天機器人的安全控制機制，給它們發布竊聽電話和劫車的指令。

時至今日，許多人已經在工作中嚴重依賴ChatGPT，以至于每當服務宕機，用戶就會在社交網絡上抱怨“又要用腦了”。這項技術正變得司空見慣，但它無法跟上人們日益增長的需求，這導致人們經常抱怨稱，“聊天機器人正逐漸變得越來越笨”。根據ChatGPT查詢數據在Google Trends中的受歡迎程度，我們可以幾乎肯定地得出結論：人們主要是在工作日向它尋求幫助，也就是說，可能是為了工作上的事情。

【2023年1月-9月，在Google Trends中查詢ChatGPT的動態趨勢】

研究數據證實了聊天機器人被積極用于工作目的這一事實。卡巴斯基對俄羅斯人進行的一項調查顯示，11%的受訪者使用過聊天機器人，近30%的人認為聊天機器人將在未來取代許多工作。研究人員進行的另外兩項調查顯示，比利時有50%的上班族使用ChatGPT，英國有65%。其中，在英國，58%的人使用聊天機器人來節省時間（例如，撰寫會議紀要，提取文本的主要思想等），56%的人使用聊天機器人來撰寫新文本，改進風格/語法以及翻譯，35%的人使用聊天機器人進行分析（例如，研究趨勢）。使用ChatGPT的程序員占16%。

盡管如此，聊天機器人在工作場所被越來越多地使用，這一事實引發了一個問題：企業數據可以信任它們嗎？本文深入研究了基于LLM的聊天機器人的設置和隱私策略，以了解它們如何收集和存儲對話歷史記錄，以及使用它們的辦公室工作人員如何保護或損害公司和客戶數據。

潛在的隱私威脅

大多數基于LLM的聊天機器人（ChatGPT、微軟必應聊天、谷歌Bard、Anthropic Claude等）都是基于云的服務。用戶創建一個帳戶并獲得訪問bot的權限。神經網絡是一個巨大的資源密集型系統，運行在提供商一端，這意味著服務所有者可以訪問用戶與聊天機器人的對話。此外，許多服務允許用戶在服務器上保存聊天歷史記錄，以便稍后返回。

令人擔憂的是，在上面提到的針對英國用戶的研究中，11%在工作中使用ChatGPT的受訪者表示，他們曾與聊天機器人共享內部文件或公司數據，并認為這樣做沒有錯。另有17%的人承認與聊天機器人分享私人公司信息，盡管這對他們來說似乎有風險。

考慮到用戶與聊天機器人共享的數據的敏感性，有必要調查一下這樣做的風險有多大。在LLM的情況下，傳遞給機器人的信息可能會被泄露的場景包括以下幾種：

• 提供商方面的數據泄露或黑客攻擊。雖然基于LLM的聊天機器人由科技巨頭運營，但它們也不能幸免于黑客攻擊或意外泄露。例如，曾經發生過這樣的事件，導致ChatGPT用戶能夠看到其他人聊天歷史記錄中的消息。
• 通過聊天機器人泄露數據。從理論上講，用戶-聊天機器人的對話以后可以進入用于訓練模型未來版本的數據語料庫?？紤]到LLM容易出現所謂的“意外記憶”（unintended memorization），最終出現在訓練語料庫中的數據可能會被其他用戶意外或有意地從模型中提取出來。
• 惡意客戶端。在ChatGPT等服務被屏蔽的國家，這一點尤為突出，用戶紛紛轉向以程序、網站和聊天機器人形式出現的非官方客戶端。沒有什么可以阻止中間商保存整個聊天記錄，并將其用于自己的目的；甚至客戶本身也可能是惡意的。
• 賬戶黑客攻擊。帳戶安全始終是一個優先級問題。攻擊者很有可能訪問員工帳戶及其中的數據，例如，通過網絡釣魚攻擊或憑據填充攻擊。

賬戶被黑客攻擊的威脅并非假設?？ò退够鶖底肿阚E情報經常在封閉論壇（包括暗網）上發現出售聊天機器人賬戶訪問權的帖子：

在上面的截圖中，一家公司的公司賬戶支付了ChatGPT訂閱和訪問API的費用，售價為40美元。攻擊者可能會以更低的價格出售一個賬戶，甚至免費贈送，但不保證它附帶一個活躍的訂閱：

黑客還會給買家提供使用受損賬戶的指導：例如，他們建議不要篡改賬戶所有者的聊天記錄，并在每次與聊天機器人交談后立即刪除自己的信息。

購買的結果是，網絡犯罪買家不僅可以免費訪問付費資源，還可以訪問被入侵賬戶的所有聊天記錄。

數據隱私問題備受企業關注。據媒體報道，今年5月，三星公司禁止其員工使用ChatGPT。據調查數據顯示，在英國，大約1%的用戶在工作中被完全禁止使用ChatGPT，而三分之二的公司已經出臺了某種關于使用生成式人工智能的工作場所政策，盡管24%的受訪者認為政策不夠明確或全面。為了徹底保護企業業務免受隱私威脅，同時不放棄聊天機器人作為工具，組織必須首先分析與每個單獨服務相關的風險。

不同的聊天機器人如何處理用戶數據

使用任何在線服務都有一個非常簡單但經常被忽視的規則：在注冊之前，一定要閱讀或至少瀏覽一下隱私政策。通常，在真實服務的情況下，該文檔不僅描述了收集的數據以及如何使用這些數據，而且還清楚地闡明了與收集的數據相關的用戶權利。在決定將數據委托給該服務之前，有必要了解這一點。

為了查明聊天機器人是根據用戶提供的提示進行訓練的說法是否屬實，是否保存了所有聊天歷史記錄，以及在工作中使用此類工具有多危險，卡巴斯基研究人員檢查了最流行的基于LLM的聊天機器人（ChatGPT、ChatGPT API、Anthropic Claude、Bing chat、Bing chat Enterprise、You.com、Google Bard、Genius App by Alloy Studios)，分析了他們的隱私政策，并測試了用戶是否能夠安全地保護他們的帳戶。

1.用戶端：雙因素身份驗證和聊天記錄

在用戶可用的隱私設置中，研究人員重點分析了兩個問題：

• 該服務是否直接在帳戶中保存用戶聊天機器人的對話？
• 用戶如何保護自己的賬戶不被黑客入侵？

在任何在線服務中，基本的帳戶保護措施之一就是雙因素身份驗證（2FA）。雖然在大多數情況下，第一個因素是密碼，但第二個因素可能是通過文本/郵件發送的一次性代碼，也可能是由特殊應用程序生成的；也可以是更復雜的東西，比如硬件安全密鑰。2FA的可用性及其實現是供應商對用戶數據安全性關心程度的重要指標。

Bing Chat和Google Bard都要求用戶分別使用微軟或谷歌的賬戶登錄。因此，與用戶端的聊天機器人對話的安全性取決于用戶各自的帳戶受到多少保護。兩家科技巨頭都提供了所有必要的工具來保護用戶自己的賬戶免受黑客攻擊：2FA有各種選項（應用程序生成的代碼，通過文本，等等）；查看活動歷史記錄和管理連接到該帳戶的設備的能力。

Google Bard將用戶的聊天記錄保存在其賬戶中，但允許用戶自定義和刪除它，還有一個幫助頁面，說明如何做到這一點。Bing Chat也會保存用戶的聊天記錄，不過，微軟社區論壇有一個關于如何自定義和刪除它的帖子。

Alloy Studios的Genius不需要登錄，但用戶只能在訂閱時使用蘋果ID的設備上訪問其聊天記錄。因此，用戶與聊天機器人的對話就像其蘋果ID一樣受到保護。Genius還提供了直接在應用程序界面中刪除任何提示的選項。

OpenAI的ChatGPT讓用戶可以選擇保存他們的聊天記錄并允許模型從中學習，或者不保存并不允許。兩者存在于一個單一的設置中，所以如果用戶想保存聊天的靈活性，但又不想數據被用于訓練模型，通常是做不到的。至于ChatGPT中的2FA，當研究人員開始研究時，它在設置中可用，但由于某種原因，該選項后來消失了。

要登錄You.com，用戶需要提供一個電郵地址，然后一個一次性代碼將被發送到該地址。Anthropic也有相同的系統。在這些服務中沒有其他身份驗證因素，所以如果用戶的郵件被黑客入侵，攻擊者可以很容易地訪問其帳戶。此外，You.com會保存用戶的聊天記錄，但有一些主要的附帶條件。用戶可以在聊天機器人界面中啟用“隱私模式”。Claude同樣會保存用戶的聊天記錄。想要了解如何刪除它，可以訪問支持網站。

2.提供商端：根據提示和聊天機器人的響應訓練模型

使用聊天機器人的一個主要風險是個人數據泄露到機器人的訓練語料庫中。想象一下，例如，您需要評估一個新產品的想法。您決定使用聊天機器人，您可以將想法的完整描述作為輸入，以獲得盡可能準確的評估。如果系統使用提示進行微調，您的想法就會出現在訓練語料庫中，而對類似主題感興趣的其他人可能會得到您產品的全部或部分描述作為回應。即使服務在將數據添加到語料庫之前將其匿名化，這也不能完全防止泄漏，因為輸入文本本身具有知識價值。這就是為什么在使用任何聊天機器人之前，弄清楚它是否從您的提示中學習以及如何停止它是值得的。

負責任的聊天機器人開發人員在其隱私政策中詳細說明了用于模型訓練的數據的使用。例如，OpenAI使用用戶提供的內容來改進其服務，但會給用戶提供“退出”選項。

如上所述，我們可能會使用您提供給我們的內容來改進我們的服務，例如訓練ChatGPT的模型。

請注意，在設置中禁止使用數據之前，所有與機器人的對話都將用于后續的模型微調。

“您可以在ChatGPT設置（在數據控制選項下）中關閉訓練功能，以關閉在禁用訓練時創建的任何對話用于訓練目的。一旦您選擇退出，新的對話將不會被用來訓練我們的模型。”

OpenAI對企業和API用戶有不同的規則。這里是另一種方式：在用戶授予許可之前，用戶提供的數據不會用于模型訓練。

“我們不會使用您的ChatGPT企業版或API數據、輸入和輸出來訓練我們的模型?！?/p>

Bing Chat和Bing Chat企業版采用了類似的方法來處理用戶數據。這份名為《新Bing：我們負責任的人工智能》（The new Bing: Our approach to Responsible AI）的文件指出：

“微軟還為用戶提供了強大的工具來行使他們對個人數據的權利。對于新Bing收集的數據，包括通過用戶查詢和提示收集的數據，Microsoft隱私儀表板為經過身份驗證（登錄）的用戶提供了行使其數據主體權利的工具，包括為用戶提供查看、導出和刪除存儲的對話歷史記錄的能力?！?/p>

所以，Bing Chat收集并分析用戶的提示。關于數據使用，文件如下：

“有關Bing收集的個人數據、使用方式以及存儲和刪除方式的更多信息，請參閱微軟隱私聲明?！?/p>

在這份聲明中可以找到一系列數據收集目的，其中之一是“改進和開發我們的產品”，在聊天機器人的情況下，這可以解釋為模型訓練。

至于Bing Chat企業版，“隱私和保護”部分是這樣表示：

“由于Microsoft不保留提示和響應，因此它們不能用作底層大型語言模型的訓練集的一部分?！?/p>

另一個IT巨頭Google Bard的聊天機器人也收集用戶提示來改進現有模型并訓練新模型。Bard隱私聲明明確指出：

“Google收集您的Bard對話、相關產品使用信息、您的位置信息以及您的反饋。根據我們的隱私政策，谷歌使用這些數據來提供、改進和開發谷歌產品和服務以及機器學習技術，包括谷歌的企業產品，如谷歌云?！?/p>

Claude（Anthropic）聊天機器人是另一個收集用戶數據但匿名化處理的機器人。在隱私和法律頁面的“您如何在模型訓練中使用個人數據？”，回答是：

“我們使用來自三個來源的數據來訓練我們的模型……來源3. 我們的用戶或工作人員提供的數據?！?/p>

同一份文件進一步闡明：

“在我們對提示和輸出數據進行訓練之前，我們會根據數據最小化原則采取合理的措施去識別它。”

如前所述，You.com有兩種模式：隱私模式和標準模式。在隱私模式下，根據公司的隱私政策，不會收集任何數據。在標準模式下，收集與服務交互的所有信息。文本沒有明確說明這意味著提示的集合，但也沒有否認它。

“為了幫助我們了解您如何使用我們的服務并幫助我們改進服務，我們會自動接收有關您與我們的服務交互的信息，例如您查看的頁面或其他內容，以及您訪問的日期和時間。如上所述，隱私模式與此有很大不同?！?/p>

由于收集到的數據被用于改進服務，因此不排除將其用于模型訓練?！拔覀內绾问褂迷跇藴誓Ｊ较率占男畔ⅰ辈糠诌€指出，這些數據將用于“提供、維護、改進和增強我們的服務”。

同樣地，Alloy Studios的Genius也未能直接回答是否收集并使用提示來訓練模型的問題。隱私政策只采用了通用表述，沒有與研究相關的具體內容：

“當您使用我們的服務時，我們會收集您的移動設備發送的某些信息；以及您通過您的設備使用我們服務的信息。”

這樣的措辭可能表明該服務收集了聊天機器人的提示，但沒有確鑿的證據。關于上述信息的使用，該公司的隱私政策規定如下：

“我們使用收集的信息來反饋給我們的服務，回應查詢，個性化和改進我們的服務以及您在使用我們服務時的體驗。”

綜上所述，正如我們所看到的，業務解決方案通常是相對安全的。在B2B領域，安全和隱私要求更高，企業信息泄露的風險也更高。因此，與B2C部分相比，數據使用、收集、存儲和處理條款和條件更傾向于保護。本研究中的B2B解決方案默認情況下不保存聊天歷史記錄，并且在某些情況下，根本不會向提供服務的公司的服務器發送任何提示，因為聊天機器人部署在客戶的本地網絡中。

至于自定義聊天機器人，不幸的是，它們不適合涉及公司內部或機密數據的工作任務。有些確實允許用戶設置嚴格的隱私設置或在私密模式下工作，但即便如此，它們也存在一定的風險。例如，員工可能會忘記設置或不小心重置設置。此外，它們沒有提供對用戶帳戶進行集中控制的選項。對于雇主來說，如果需要的話，購買一個商業解決方案比因員工偷偷使用聊天機器人而遭受機密信息泄露更具經濟意義。

用戶對個人數據的權利

研究人員還研究了用戶可以使用哪些工具進行自我保護，可以使用聊天歷史記錄做些什么，以及LLM開發人員是否真的根據用戶數據訓練他們的模型?，F在讓我們先來弄清楚用戶對其提供給聊天機器人的信息擁有哪些權利。

此類信息通常在隱私政策的“您的權利”部分或類似部分中找到。在分析本節時，請注意其是否符合《歐盟通用數據保護條例》（GDPR）關于如何提供信息以及授予用戶哪些權利的規定。即使用戶居住在歐盟和GDPR范圍之外，遵守法規也意味著服務的完整性。

GDPR的核心要求之一是，有關用戶權利的信息應以簡潔、透明、易懂和易于訪問的形式提供。必要權利清單包括更正、刪除和獲取收集的個人數據副本的權利，以及選擇不處理個人數據的權利。當用戶不再需要某個服務時，刪除權特別有用。

本研究中審查的幾乎所有公司都以相當透明和可讀的形式在其隱私政策中提供了用戶權利。OpenAI在“您的權利”部分指出：公司允許您檢索、刪除和更正收集的數據，并限制或選擇退出其處理；Claude（Anthropic）在“權利和選擇”部分指出：用戶有權利知道公司收集了哪些信息，以及可以訪問、更正、刪除和選擇不提供數據；微軟Bing聊天在“如何訪問和控制您的個人數據”部分提供了大量關于如何以及在何處更正或刪除數據的信息，但沒有根據GDPR要求明確列出用戶權利；谷歌在其隱私和條款頁面的“您的隱私控制”和“導出和刪除您的信息”部分都提供了詳細的說明，說明用戶可以如何以及在何處處理自己的數據。

You.com沒有專門列出用戶權利的欄目。它們唯一被提及的地方是在“我們如何使用在標準模式下收集的信息”部分的末尾：

“您可以控制您的信息：您可以通過郵件中提供的鏈接取消訂閱我們的推廣郵件。即使您選擇不接收我們的推廣信息，您仍將繼續收到我們的管理信息。您可以通過發送郵件來請求刪除您的用戶配置文件和與之相關的所有數據?！?/p>

Genius隱私政策則沒有提及任何用戶權利。

結語

該研究揭露了在工作中使用基于LLM的聊天機器人所帶來的主要威脅，并發現當員工在工作中使用個人賬戶時，敏感數據泄露的風險最高。

這使得提高員工對使用聊天機器人的風險認知成為公司的首要任務。一方面，員工需要了解哪些數據是機密或個人數據，或構成商業秘密，以及為什么這些數據不能提供給聊天機器人。另一方面，如果允許使用此類服務，該公司必須闡明使用此類服務的明確規則。同樣重要的是要意識到潛在的網絡釣魚攻擊，這些攻擊正試圖利用生成式人工智能的流行趨勢。

理想情況下，如果組織看到允許員工使用聊天機器人的好處，它應該使用具有明確數據存儲機制和集中管理選項的業務解決方案。如果組織將聊天機器人的使用和帳戶安全完全托付給員工自己，那么由于隱私政策和帳戶安全級別的巨大差異，組織很可能將面臨數據泄露的風險。為了防止員工出于工作目的自行咨詢不受信任的聊天機器人，建議組織使用帶有云服務分析的安全解決方案。

原文鏈接：https://securelist.com/llm-based-chatbots-privacy/110733/