AI大模型的安全到底情況如何？未來AI安全應該如何保證？AIGC內容安全該如何保證？ 7月7日，以“AI新時代，安全須先行”為主題的AI大模型的安全挑戰與應對論壇在2023北京網絡安全大會上召開。五位AI領域的專家、學者分享了在人工智能，尤其是大模型安全方面的研究成果。

浙江大學計算機學院教授、博士生導師、可信人工智能研究中心主任紀守領首先指出，AI的快速發展給予了攻擊者更多的機會，攻擊的能力也顯著增強。他提到了一些已知的攻擊方式，例如對抗樣本和后門攻擊。他認為，面對這些挑戰，AI安全已成為一個熱門話題，并且越來越多的研究人員和企業開始思考如何應對這些問題。

紀守領教授提到了數字空間和物理空間中的實際案例，如活體檢測、目標識別和惡意軟件生成。他指出，這些領域的復雜性和挑戰性使其成為引人入勝的研究方向。在演講中，紀守領教授向觀眾展示了他們團隊開發的一個平臺，用于集成現有的檢測和生成方法，并應用于對抗攻防研究。這一平臺的實驗結果令人驚嘆，展示了對抗攻防領域的新穎性和挑戰性。

中國科學院信息工程研究所研究員、中國科學家大學教授/博士生導師陳愷博士在他的演講中涵蓋了人工智能領域的兩個關鍵方面：攻防和可解釋性方法。他介紹了使用人工智能技術來賦能安全領域的研究，并提出了一種利用大型模型來分析安全漏洞、惡意代碼和漏洞利用的方法。此外，他還強調了人工智能模型本身的安全性問題，特別是在應對后門、對抗樣本和語言模型等方面的挑戰。

陳愷博士的研究強調了人工智能在安全領域的重要性，并提供了幾種創新的方法來應對攻擊和提高模型的可解釋性。這些研究為人工智能的安全性和可靠性提供了新的思路和解決方案，對于推動人工智能的發展具有重要意義。

作為產業界的代表，百度安全副總裁、主任架構師包沉浮指出，大模型應用面臨的安全挑戰主要包括模型技術濫用、業務服務和接口濫用、內容濫用和品牌濫用。為了應對這些挑戰，需要建立多層次、多環節的安全體系。

大模型應用的安全問題仍在不斷發展，提供方和使用方應加強技術風險預判，關注和控制應用層面的風險，并建立多方協同的安全治理機制以應對應用的衍生風險。

中國科學技術大學信息與通信工程專業博士、科大訊飛研究院研究員高天介紹了科大訊飛在合成語音檢測領域的技術進展與挑戰。科大訊飛在語音合成技術方面取得了長期的研究成果，并且隨著技術的突破，語音合成的自然度和應用領域不斷提升，但這也帶來了合成語音的安全挑戰，因此合成語音檢測的研究變得至關重要。

高天博士介紹了合成語音檢測的任務背景和科大訊飛在語音合成技術方面的成就。他提到科大訊飛多年來在智能語音合成技術研究上有深厚積累與成果，在解決合成語音檢測難題方面，高天博士介紹了一些最新的技術進展。他提到利用預訓練模型和說話人自適應的方法來提取更魯棒（Robust）的高層特征，改善合成語音檢測系統的性能。此外，他還介紹了量子機器學習在合成語音檢測中的探索，通過量子網絡與深度學習相結合，提升檢測系統的效果。

斗象科技安全專家杜南提到了在當前企業數字化轉型加速、網絡安全從建設到常態化運營轉換、攻防不對稱也在加劇的背景下，我們正在AI大模型、行業模型發展的基礎上，在網絡安全技術上深度探索，尤其是以基于AI技術的智能攻擊面管理技術為重要代表之一的集成化、可視化、自動化、數智化的新一代安全解決方案備受企業的青睞。

斗象科技智能攻擊面管理平臺APTP通過資產的生命周期監控和對攻擊全鏈路的刻畫，構建了一款面向企業攻擊面檢測與管理邏輯鏈路完整的管理安全平臺，同時也是一款技術與AI的自動化機器滲透測試平臺。旨在幫助企業解決多元數字資產的可管理、數字資產的可運營等。智能攻擊面管理以更智能、更多維、具備白帽知識的方式偵查和識別企業資產暴露面，以更持久的方式管理攻擊面和資產地圖，以更自動化、更定向、更接近人工滲透的手段方法，通過機器人節點進行攻擊面預測、視圖展現、安全預警和常態化安全運營。

在最后的圓桌討論中，專家們就新技術發展與社會安全挑戰的平衡問題提出了觀點。如何平衡新技術發展和安全挑戰？專家們認為技術發展是不可阻擋的，并強調了在技術研究、應用和監管方面取得平衡的重要性。總體而言，他們認為技術發展必須繼續，但需要與安全問題的應對相結合以實現健康發展。

據悉，論壇由中國網絡空間安全協會指導、奇安信集團、北京賽博英杰科技有限公司聯合主辦。賽博英杰創始人&董事長譚曉生主持了此次論壇。