初探ChatGPT，你學會了什么？
GPT 是什么
GPT 是 “Generative Pre-Training” 的簡稱，是一種能夠處理圖像和文本輸入并產生文本輸出大型多模態模型。
使用公開可用的數據（如互聯網數據）和第三方提供商許可的數據，預先訓練以預測文檔中的下一個令牌（一個令牌可以簡單理解為 4 個英文字符）。然后使用來自人類反饋的強化學習（RLHF）對該模型進行微調。
如何訓練
首先，他們接受訓練，使用來自互聯網的大量文本數據集來預測下一個單詞。然后，使用一種稱為來自人類反饋的強化學習的算法，用額外的數據對模型進行微調，以產生人類貼標機喜歡的輸出。
具體步驟：
- 針對大量問題生產答案，建立一個 GPT 模型
- GPT 模型和多個模型一起參與對問題給出回答
- 人工按特定標準對這些問題進行排序
- 基于上一步的排序行為數據，訓練一個獎勵模型進行打分
- 基于打分結果對 GPT 模型進行微調
- 用強化學習繼續訓練微調后的 GPT 模型
微調步驟：
圖片
優勢
考試成績
圖片
GPT-4 在大多數專業和學術考試中表現出人類水平的表現。
不足
時效性
這個問題目前看起來是最容易被解決的，不管后期是通過官方開放的 plugin（連接第三方的 api ）還是自己微調都能在一定程度上被改善。
合法合規
需要基于當地的文化、信仰、法律等來控制內容的輸出，尊重個體差異。
數據量
可用于訓練 GPT 的數據較為有限，比如目前中文領域高質量的數據集通常可能從知乎、小紅書、百度文庫等獲取，如果想在大模型上取得更大的突破需要更多海量優質的數據。
風險
- 幻覺：即“產生與某些來源相關的無意義或不真實的內容”
- 有害成分
建議或鼓勵自殘行為
色情或暴力內容等圖形材料
騷擾、貶低和仇恨內容
對策劃攻擊或暴力有用的內容
查找非法內容的說明
- 代表、分配和服務質量的危害 ：語言模型會放大偏見，延續刻板印象
- 假情報和影響行動
- 常規武器和非常規武器的擴散
- 隱私
- 網絡安全
- 風險突發行為的潛在性
- 經濟影響 ：GPT 協議 4 對經濟和勞動力的影響應該是政策制定者和其他利益相關者的重要考慮因素
- 加速 ：導致安全標準下降、不良規范擴散和人工智能時間表加快的風險，所有這些都增加了與人工智能相關的社會風險
- 過度依賴 ：當用戶過度信任和依賴模型時，就會出現過度依賴，這可能會導致未被注意到的錯誤和不充分的監督
如何規避
- 進行提前干預部署
- 充分的對抗性測試
- 建立模型輔助的安全管道
如何在團隊內落地
在了解完 GPT 這類模型的優勢和限制之后，那么如何將其為我所用？
首先如果想在日常工作中使用 GPT 這類技術，需要明確業務敏感度，使用過程中是否會包含大量內部業務數據；然后是評估收益，對該場景的提升是否足夠的大？下面介紹 3 種情況：
內部業務數據敏感度高
智能客服、知識管理、文檔生成工具、業務開發等，這些應用場景不可避免地會接觸到業務數據，因此無法直接使用，通常只能基于現有的大模型利用內部數據進行訓練。
內部業務數據敏感度不明確
比如作為日常工作的搜索化工具和助手，可能會包含業務數據時，大部分團隊應該還是不允許直接接入和使用 ChatGPT，但是可以為團隊內部提供部署前端界面和 api key，通過后端用代理方式訪問 OpenAI 接口，這樣做的優點是相對直接訪問可以起到一定監控作用，及時發現數據泄露等安全問題，并給出推薦的脫敏信息和 prompt 格式，提升團隊效率的同時并改進工作方式。
內部業務數據敏感度低
這種情況比較適合可以使用外部成熟的大模型，比如處理構建產物和分析異常，因為這些數據都是基于代碼經過打包和壓縮后產生的數據，相當于做了大部分業務脫敏和關鍵字混淆，一定程度上規避了信息泄露的風險，接下來下面舉兩個例子：
一、檢測產物
問：
你現在是一個前端專家，判斷下列腳本是否存在瀏覽器兼容問題，從可能的原因，可能的影響，問題嚴重等級評分（ 10 分制），修復建議等方面進行分析評估，腳本為：
!function() {
var e = /([http|https]:\/\/[a-zA-Z0-9_.]+.baidu.com)/gi
, r = window.location.href
, t = document.referrer;
if (!e.test(r)) {
const o = "[https://sp0.baidu.com/9_Q4simg2RQJ8t7jm9iCKT-xh_/s.gif";](https://sp0.baidu.com/9_Q4simg2RQJ8t7jm9iCKT-xh_/s.gif%22;)
t ? (o += "?r=" + encodeURIComponent(document.referrer),
r && (o += "&l=" + r)) : r && (o += "?l=" + r);
var i = new Image;
i.src = o
}
}(window);GPT:
該腳本的主要功能是檢查當前頁面 URL 是否匹配百度域名，如果不匹配，則發送一個帶有 referrer 和 location 信息的請求到百度服務器。以下是關于這個腳本的兼容性問題分析：
可能的原因：
使用了 const 關鍵字，它在 IE 瀏覽器（版本小于 11）中不被支持。
可能的影響：在不支持 const 關鍵字的瀏覽器（如 IE10 及以下版本）中，腳本會拋出錯誤，導致后續代碼無法執行。
問題嚴重等級評分：4/10。這個問題主要影響較舊的瀏覽器，尤其是 IE10 及以下版本。隨著現代瀏覽器的普及，這個問題的影響范圍有限。
修復建議：
將 const 關鍵字替換為 var 關鍵字，以確保更好的瀏覽器兼容性。修復后的腳本如下：……
二、分析異常
問：
你現在是一個前端專家，收到以下 sentry上報的異常，從可能的原因，可能的影響，錯誤嚴重等級評分（10 分制），修復建議等方面進行分析評估，異常為：
TypeError: Cannot set properties of null (setting 'innerText') at t.(/de/prismplayer/2.9.23/aliplayer-min.js:2:363589) at ……
GPT:
異常信息：TypeError: Cannot set properties of null (setting 'innerText')。這是一個類型錯誤，提示在嘗試設置一個 null 對象的 'innerText' 屬性。
可能的原因：
代碼中某個 DOM 元素沒有被正確獲取，可能是通過 querySelector 或 getElementById 等方法獲取的元素不存在或未被渲染。在事件處理函數中，可能未正確處理元素的引用，導致在某些情況下引用了一個 null 對象。
可能的影響：
由于無法正確設置 'innerText' 屬性，可能導致客戶端在某些功能上出現問題，影響用戶體驗。
如果這個問題普遍存在，可能會影響整個應用的功能和穩定性。
錯誤嚴重等級評分：6/10。這個錯誤可能導致某些功能無法正常使用，但不會導致整個應用崩潰。
修復建議：
首先定位問題發生的位置。從異常堆棧信息中可以找到相關代碼位置，如 aliplayer-min.js 的第 2 行 363589 字符處。
根據代碼位置，檢查是否在設置 'innerText' 屬性前正確獲取了 DOM 元素。如果發現問題，需要修復代碼以確保 DOM 元素在使用前被正確獲取。
在事件處理函數中，確保對 DOM 元素的引用被正確處理，避免在某些情況下引用一個 null 對象。
在修復問題后，進行充分的測試，確保問題已經解決。可能需要測試不同的場景，以驗證在各種條件下 DOM 元素都能被正確獲取和處理。
備注：在實際修復過程中，還需要根據項目的具體情況和代碼邏輯來進行分析和調整。由于問題發生在第三方庫（aliplayer-min.js）中，如果無法直接修改庫代碼，可以嘗試聯系庫的作者或者尋找替代方案。
在上面的例子中，先明確業務領域關鍵字“前端”，然后給出問題場景“兼容性分析”或“異常分析”，再設定期望的目標字段：“原因”、“影響”、“嚴重等級”、“建議”，最后把必要的信息內容加上，就得到了一個相對來說比較可靠的答案。
這個過程和我們平時調用業務接口很相似，可以有固定的出入參和功能邏輯，通過系統完成工作。例如 JS 異常分析，過去也有過嘗試訓練自研模型來提高異常上報的準確率，花了大量時間精力但是效果不盡人意，還需要申請 GPU 服務器資源，如今只需要調用大模型的接口即可達到非常不錯的效果，較為準確的分析上報上來的異常。
總結
在工作中現階段主要受限于信息安全和技術瓶頸，直接使用 GPT 的場景會相對比較有限，自己用數據訓練大模型成本又太高，所以在起步階段以工具化的形式快速應用到現有場景為主，而且需要這些場景不包含業務數據，以盡可能的確保信息安全。
展望
GPT 這類大模型所帶來的生產方式會對當前社會的分工產生巨大影響，對于研發、設計等崗位尤其顯著，給我們帶來焦慮的是不知道何時就會被 AI 替代，有可能就是下一個版本發布的時候，因此作為開發者需要保持開放的心態去了解、學習這些新技術，前期可以在現有的系統中接入 GPT 來提升效率，在未來不久可能可以將他作為一個萬能的系統來完成需求和工作，但是在使用中必須要做好數據安全方面的審核和把關。
相關話題
ChatGPT 會帶來失業潮嗎？(https://www.zhihu.com/question/582933780)
ChatGPT 這個風口，普通人怎么抓住？(https://www.zhihu.com/question/582326598/answer/2882767690)
ChatGPT 有哪些神奇的使用方式？(https://www.zhihu.com/question/570729170/answer/2887200349)
參考
《 GPT-4 技術報告》
