中國工程院院士倪光南在第二屆北京人工智能產業創新發展大會上，分享了他對人工智能發展的看法和體會。

倪光南表示：由人工智能引領的新一輪科技革命和產業變革正在全球范圍內蓬勃興起。當前世界各國都在作出重大部署，將人工智能領域作為提升國家競爭的科創高地。不久前，以ChatGPT為代表的大模型揭開了生成式AI發展的新篇章，必將對人類社會產生巨大影響，必須直面應對，迎接相應的機遇和挑戰。目前生成式AI的應用剛剛起步，中國在市場和應用前景上具有很大潛力。

RAG等生成式AI技術發展前景廣闊

倪光南認為，當下應狠抓應用意識，促進基礎大模型和AI算力的發展。目前許多機構和企業正在從事垂直領域和應用場景的中小模型方面的法律，值得鼓勵和支持。生成式AI目前正處于發展初期，大模型增強技術具有巨大發展空間。

例如，RAG技術，正是運用檢索獲得的精準結果提升大模型響應的專業性和正確性，這一技術已經得到業界普遍認可。其次，精準算法的增強具有很好的前景，例如Sora可以通過輸入提示輸出對應的視頻。

雖然Sora目前無法準確模擬所在場景的物理特性，也無法理解實際時間的因果關系，例如Sora生成的水果汁潑到桌面上的視頻，涉及了兩個穩定狀態，一個是杯子的實際狀態，另一個是果汁已經潑出來的狀態。其中最復雜的物理狀態是果汁如何從杯子中灑到桌面，Sora無法生成。顯然要達到這樣的程度，需要將諸多數學定律、物理定律、工業軟件與強大算力相互融合。這是一項頗具挑戰性的工作，需要圍繞大模型發展各種增強技術，例如檢索增強生成技術、精準算法的增強，發展前景廣闊。

AI代理助力AI應用安全有效推進

倪光南指出：生成式AI存在諸多問題值得業界思考。例如可解釋、透明、公平、合法、安全等均需要深入研究，非短期內可以解決。為了安全有效的應用生成式AI，倪光南建議終端廠商在各類終端(如電腦/手機)上加入AI代理軟件，相當于常用的工具管家，且需擴展監控生成式AI應用的功能。例如是否調用某種大模型?是否可以采用某種大模型給出的結果?是否能夠融合大模型和本地的AI?這些功能將遠超常規小工具，因此可以實現終端運維升級和安全防護等功能。

他呼吁終端廠商要擔起責任，并將AI代理軟件置于系統軟件的底層，以便獲得最高權限，可以將原本的OS轉換為數字OS。AI代理意味著可以代理終端所有者，對終端實行身份信息、價值觀、愛好和習慣等方面的管控。當前，國內部分終端設備已經裝備AI助手，例如榮耀MagicOS 8.0,它使終端設備更智能、更有效率、更人性化和個性化。如果將AI助手進一步擴展，達到AI代理的高度，將助力AI應用安全有效地推進。

生成式AI的價值觀問題值得關注

倪光南強調：生成式AI系統所提供的結論，可能帶有價值觀的傾向，因為有多種途徑可以使生成式AI帶有新傾向。例如：訓練時使用的大數據結構，依靠人類反饋進行增強訓練時采用的獎懲規則，生活中的某些環節或者處理中進行了某種干預，以及使用AI中的交互可能進行某種誘導等。

為了保證信息安全，讓AI能力被安全地使用，倪光南建議引入權威測評機構，基于主流價值觀進行安全測評，為用戶提供更合適的產品。

最后，倪光南表示：“生成式AI是當代的重大科技創新，它將催生新產業、新模式和新動能，是發展新質生產力的核心要素。我們要以全球視野進行謀劃和發展，爭取在人工智能時代躋身于世界前列，為實現科技強國夢想和民族偉大復興作出更大貢獻。”