本文將分享訓練ChatGPT（最新GPT-4模型版本）并生成報告的全過程，并就ChatGPT使用過程中存在哪些常見的問題，如何使用ChatGPT來最大化提升學習、工作效率等問題進行探討。

以下是AI安全報告生成全過程。

基礎架構

選題

優質的選題能夠幫助學術研究者快速確定報告的切入點，引導讀者捕捉報告的主旨，使整個報告呈現更清晰的架構和邏輯。通過向ChatGPT介紹報告的背景或者提供關鍵詞、概述，ChatGPT能夠在幾秒內生成選題，供研究者參考。

我們在提問時，可要求ChatGPT同時生成多個選題，這在幫助學術研究者迅速篩選出最切合需求的標題的同時，也可指導研究者跳出思維定式，拓寬研究者的思路。

結合實際情況，我們需引導ChatGPT對生成的標題進行調整與優化，使最終報告的選題更加貼合實際需求、更有針對性。

值得一提的是，ChatGPT的語言能力可謂令人驚喜，“小紅書風格”、“知乎體”統統不在話下。為提升報告的閱讀效果和傳播力，我們可對標題的措辭與語言風格進行要求。

若需在標題風格、措辭均與預期沒有明顯偏差的情況下，對標題進行進一步改進，也可向 ChatGPT直接發出“優化”指令。同樣，在輸入指令時，最快速有效的方式是命令ChatGPT一次性提供多個回答，以更迅速、廣范圍地定位結果。

創建大綱

在確定選題后，我們可以利用ChatGPT構建一份最基礎的報告大綱，這極大程度上縮短了報告前期桌面調查、資料整理和篩選的過程，為后續研究提供基本的思路。

在此之前，我們首先要確保大綱的整體脈絡與我們的預期基本相符，而不存在重大的離題、偏題等情況，從而節省后期糾錯、調整、優化的時間成本。

為了實現這一結果，我們需要首先讓ChatGPT生成一份報告摘要。

很顯然，上述回答出現了"嘎然而止"的情況。根據官方，GPT-4的輸入、輸出上限在2.5萬個字符，約等于2600個漢字。而我們的試驗結果顯示，中文漢字輸入、輸出內容通常在500-1000個字符內即達到上限。

好在，因字數限制而中斷的回答可在引導下繼續輸出結果。進行這一操作時需注意評估此前生成內容中斷的位置，以大致判斷遺漏內容所占比例，若中斷位置接近尾聲，將有較高的成功率使模型繼續回答。

摘要內容主要以幫助我們框定報告整體站位、明確報告大綱范圍為目的，針對摘要中可能出現的用詞不當、邏輯性、段落聯結性等問題，我們在此階段無需過多關注。

由于這一步驟處在報告創建的最早期，具體內容通常與最終生成的報告結果存在較大的出入，摘要中的文字內容將不會被我們直接沿用于報告中。因此我們只需檢查摘要的側重與涉及范圍，經過增減與修改后即可生成報告大綱。

可以見得，ChatGPT生成的大綱乍一看已具備基本的結構與邏輯性，但對于深層次的邏輯關系處理能力仍然十分有限。

例如，第六章節的標題"提升AI安全意識與教育"屬于發展建議的一部分，與第七章"結論與建議"屬于包含而非并列關系。又如第五部分"AI風險的治理與監管"部分下的四個小標題均聚焦于針對AI風險治理的建議，且建議結果存在內容空泛、缺乏實操性的缺點，而未涵蓋有關AI監管現狀及發展的任何內容。

因此我們需要對大綱的結構、整體邏輯性、觀點合理性進行詳細的檢查，同時結合報告自身需求對大綱內容進行增減與調整。

跳脫“直覺思維”是此過程的核心，ChatGPT模型與人腦構造最本質的差距在于，對非線性情景的處理能力與基于直覺的判斷力。認清這點后，我們需將問題描述設置地盡可能詳細、具體、邏輯清晰，可借助分點式的描述風格便于ChatGPT更準確地理解需求。

以上生成結果同時反映了ChatGPT具備的能力與存在的局限。一方面ChatGPT準確理解了“第六章融入第七章”、“第五章調整報告框架”、“引言的切入點”等指令并作出響應。另一方面，ChatGPT的響應內容相對機械化，對常識、直覺性知識的認知水平也非常有限。

以“將第六章融入至第七章”的指令為例，ChatGPT機械地將原先第六章下的小標題直接挪用至第7章（5、6、7點）。很顯然， 5、6、7點均屬于"提升AI安全意識與教育"的一個部分，與其他幾項建議內容無法直接構成并列關系，造成大綱結構的明顯失衡。又例如針對第五章框架修改的指令，ChatGPT直接對輸入指令進行了原封不動的照搬。

我們引導ChatGPT對以上問題進行逐個優化，例如要求ChatGPT將第六章節的三個標題融合為一個點：

再一次，ChatGPT雖正確理解了指令內容，其執行操作僅僅是機械地將5、6、7標題內容合并在一個長句子中，此形式的標題幾乎不可能出自人類研究者的手中，這是源于人類研究者幾乎無需思考便能對報告標題的格式有一個基本的預設（簡練、重點明確、概括性強等），而此類常識性的認知正是ChatGPT所不具備的。

訓練進行到這一步，我們不難得出一個大致結論：不要忽視對ChatGPT交代那些人類思維習慣中已成為常識、先驗性的知識背景，不要預設ChatGPT能夠生成任何指令以外的內容，盡可能具體地描述輸出要求。

根據上述經驗總結，我們再次嘗試訓練ChatGPT，對此部分標題進行優化，限定了第六章第5點標題的篇幅，并列出具體的參考標準（與1、2、3、4點標題的篇幅一致），終于得到了相對滿意的結果。

正文攥寫

報告正文攥寫是一項層層剝離、抽絲剝繭的工作。概括而言，訓練的方法與順序需遵循以下基本原則：先確認大章節方向、再確認小章節方向、最后優化小章節內容。

為盡可能縮短后期修正、返工的時間成本，我們需要首先確保每一章節生成的內容與預期不存在重大偏離，并根據ChatGPT回答內容對每一章節的框架脈絡進行調整。

以第三章節內容為例，我們首先要求ChatGPT對即將生成的內容進行描述。

初看ChatGPT的回答思路并不存在明顯問題，且具備一定的條理性。仔細閱讀生成結果即暴露出一個ChatGPT的常見缺陷：點與點之間的內容互相割裂，甚至出現交叉重合的情況。

例如，針對深度學習所存在的風險，ChatGPT給出的回答是“過擬合”、“對抗樣本攻擊”，而對于自然語言處理技術所存在的風險，ChatGPT的答案則包括了“模型泄露敏感信息”。

這些風險均屬于不同AI技術所面臨的共通性威脅，若按照以上思路生成報告，此章節每一針對特定AI技術領域風險的描述中，均將包含大量AI技術的通用性風險，造成報告結構的混亂與內容的重合。

我們針對上述問題對第三章框架進行調整，要求ChatGPT描述三大核心AI技術領域存在的網絡安全風險中的共性與差異。

收到指令的ChatGPT順利對“共性風險”與“特有風險”部分進行了區分。

前期一切準備工作就緒，即可進行最核心、最費時的環節——報告正文內容的攥寫。

不難看出，此階段的輸出結果更像是一份大綱，后續環節涉及小標題的篩選與確認，以及具體內容的延展與調整。

快速擴充內容最省時的做法是，直接要求ChatGPT對生成內容進行補充，可利用“擴充”、“延伸”、“具體說明”等關鍵詞，并限定擴充篇幅。

以上便是最粗略的報告生成步驟，此后的工作重點主要集中在最為漫長瑣碎的結果糾錯、內容調整與優化環節，注意遵從先核實信息真實性與準確性、再完善結構與內容的基本原則。

虛心認錯，屢教不改

上述基礎架構的搭建看似并不復雜，如果認為輸入簡單的指令就萬事大吉，可高枕無憂地將報告攥寫的重任完全交由ChatGPT完成，就大錯特錯了。

實際上，在ChatGPT具體內容生成的過程中，可能出現的問題層出不窮。最典型的例子當屬被廣泛詬病的"一本正經地胡說八道"、"編造文獻"等直接造假行為。

這一問題在我們攥寫第五章節"AI風險的治理與監管"這類以嚴格的法律、政策文件為依據的內容時尤為明顯。我們在訓練過程中遇到的錯誤類型五花八門：編寫不存在的政策文件名稱、編寫不實政策頒布機構、編寫錯誤的政策頒布年限、頒布不存在的政府行為等。

例如在美國部分政策內容的訓練過程中，ChatGPT在最初短短的4點回答中就犯下一個明顯錯誤：編造美國政府成立AI政策辦公室的不實政府行為。

我們對生成結果提出改進建議，其中包括詢問"美國政府成立AI政策辦公室"這一不實信息的成立機構。

令人遺憾的是，ChatGPT非但沒有認知到回答結果的錯誤，反而將錯就錯，根據問題繼續編造生成內容。

再比如，以下回答可謂是AI生成錯誤內容的大合集。短短的4個問題中即包括了3個重大錯誤，最荒謬的錯誤當屬直接對《NISTIR 8272：相互依賴的網絡供應鏈風險的影響分析工具》，一份關于網絡供應鏈風險分析，完全無關AI安全的文件進行移花接木，為編號為NISTIR 8272的文件安上了不存在的名稱《NISTIR 8272：人工智能風險管理框架》。

而四點回答中唯一正確的回答竟是承認上一問生成內容所產生的錯誤。可見，雖ChatGPT的認錯態度良好，但秉持屢教不改的執行原則，ChatGPT對嚴肅的政府行為、政策制度、文獻等內容的輸出結果準確性非常低，用戶需對生成內容進行仔細的審核與校對。

下圖是另一個極具代表性的錯誤示例，左圖為ChatGPT生成的有關歐盟發布的AI安全監管政策的梳理，很明顯，左圖內容主要圍繞“AI”而非“AI安全”展開。

我們對以上問題發出"修改側重"的指令，如右圖。很顯然，ChatGPT修改后的回答并沒有按照設想那樣，對歐盟政府側重于“AI安全”的文件進行重新整理。

相反，ChatGPT照搬了原回答中所涉及的所有文件名稱與政府行為，并直接替換了文件的主旨與目標，包括：將《人工智能的歐洲戰略》的目標從“加強AI研究......”替換為“加強AI安全研究......”，將歐盟成立ELLIS的目的從“推動AI研究”替換為“推動AI安全研究”等。

這暴露出ChatGPT又一個致命問題：ChatGPT可能會為了使得生成結果看似契合問題需求，而對信息進行直接篡改。

局限與建議

除以上事實性錯誤，在內容審核與校對的過程中，我們需重點檢查段落與段落之間是否存在交叉重合的情況。以4.1小章節數據投毒為例，數據投毒的基本概念在引言部分與4.1.1部分被同時提及。

順著以上例子，我們對ChatGPT的運作規律作出大膽的推測：即ChatGPT生成的回答由分散的小任務拼接而成的，這些任務之間相對獨立，欠缺邏輯聯結性。

若將數據投毒的引言部分視為一個小的生成任務，ChatGPT的輸出結果已符合一個合格引言的基本標準：（闡述數據投毒概念——介紹后文內容）。同樣，若將4.1.1部分視為一個小的生成任務，其輸出結果也不存在明顯的差錯。

當我們明確向ChatGPT指出內容重合的情況時，ChatGPT很快理解了修改指令并重新完成作答，如下圖。

顯然，ChatGPT具備“識別重合內容”的能力，其缺乏的是“段落之間不應存在大量重合內容”的認知。由此可見，人腦網格化的關聯分析能力，正是AI最難效仿與取代的部分。

有趣的是，當ChatGPT將4.1.1的內容合并入引言部分時，并未對其余編號進行相應調整，而當我們指出ChatGPT所存在的問題時，模型有效發現了錯誤并準確完成了編號修改。

這類編號錯誤并不影響我們對于ChatGPT的實際使用，但可作為一個很好的示例印證我們關于ChatGPT分散式任務拼接機制的假設。

我們也嘗試引導模型對段落的聯結性進行增強，得到了以“在XXX后，企業需關注XXX”為格式的反饋結果。顯然，這種機械化增添先后順序的模式，并無法真正反應段落間的實質聯系。

到此，我們對ChatGPT所存在的局限性與能力上限形成了一個大致的預期。要而言之，ChatGPT可大批量對現象、事實、觀點等進行迅速匯總，也已具備一定的邏輯判斷能力。

然而，由于ChatGPT的邏輯判斷依據主要依托語言統計學，而非認知能力，導致其常常出現邏輯錯誤、結構混亂，甚至因果倒置等情況，更無法真正挖掘信息之間深層次、本源性的聯系。

人腦則負責對ChatGPT提供的基礎信息進行準確性審核、共性歸納、趨勢總結等更高階的分析與概括。

明確了人類與ChatGPT的角色分工，也就不難得出最大化利用ChatGPT優化生成報告、優化報告內容，進而賦能工作的方法：利用人腦構造一條達成目標所必要的信息需求鏈，并盡可能拋開直覺，具象化地對鏈上的信息需求進行描述。

以報告4.1.1為例，我們在要求報告對數據投毒內容進行具體說明時，通過追問成因、要求ChatGPT舉例說明等具象化描述，框定了信息需求方向。

總結

總的來說，ChatGPT向我們交出了一份令人滿意的答卷，盡管訓練過程面臨諸多難點與不確定性，ChatGPT對于指令的理解力與執行力令人驚喜。

FreeBuf咨詢認為，ChatGPT可作為課題分析、學術研究的起點， 向人類提供達成目標所需要的匯總信息。通過龐大的訓練數據庫，為學術研究者快速確定報告的切入點，極大程度上縮短了報告前期桌面調查、資料整理和篩選的過程，為后續研究工作提供參考思路。

然而，ChatGPT存在的局限性與能力上限也十分明顯。由于ChatGPT的輸出內容主要基于上下文詞語的統計分布，而非嚴謹的事實，ChatGPT生成結果的真實性往往無法得到保證，甚至常常出現邏輯錯誤、結構混亂，因果倒置等情況。

此外，由于缺乏非線性的關聯分析能力，ChatGPT無法真正挖掘段落間的實質聯系，這使其與人腦之間存在著一道無法逾越的鴻溝。準確性審核、共性歸納、趨勢總結等更高階的分析行為，仍然需要人類力量來執行。