一、背景介紹

首先來介紹一下海康在大模型技術(shù)領(lǐng)域的發(fā)展歷程。

早在 2006 年，海康威視就開始組建算法團隊，專注于智能算法的研究。2012 年，海康進一步拓展了深度學(xué)習(xí)領(lǐng)域的研究，逐步將其應(yīng)用于多個業(yè)務(wù)場景，包括人臉識別、車牌識別、視頻結(jié)構(gòu)和行為分析等。通過對這些技術(shù)的深入探索，海康在智能安防和視頻監(jiān)控領(lǐng)域逐漸確立了技術(shù)領(lǐng)先地位。

2018 年，海康發(fā)布了 AI 開放平臺及相關(guān)白皮書，標志著海康正式進軍大模型領(lǐng)域。該平臺不僅為行業(yè)提供了基礎(chǔ)算法，還涵蓋了深度學(xué)習(xí)和大模型的最新研究成果，應(yīng)用領(lǐng)域覆蓋智慧城市、平安城市、公共安全和生產(chǎn)安全等多個方向。

到 2021 年，海康的大模型逐漸步入行業(yè)應(yīng)用階段，重點發(fā)展多模態(tài)模型，將視覺、語言、語音等技術(shù)融合在一起，并逐步擴展至城市治理、電力、煤炭、水利等多個行業(yè)。通過整合這些感知技術(shù)，海康的行業(yè)大模型在智能化管理和分析上有了質(zhì)的飛躍，為更多行業(yè)提供了智能解決方案。

從 2022 年至今，海康利用更高級別的智能手段，不斷對模型進行優(yōu)化提升，助力多維數(shù)據(jù)聯(lián)動，并參與了國家大模型相關(guān)標準的制定。

海康的大模型取名為“觀瀾”，源于孟子“觀水有術(shù)，必觀其瀾“的哲理思想，象征著通過大模型的深度感知與洞察來實現(xiàn)對世界的全面理解。觀瀾大模型從視覺大模型起步，并逐漸擴展至音頻、雷達、X 光等多個感知領(lǐng)域，形成了豐富的多模態(tài)感知基礎(chǔ)，以適應(yīng)不同的行業(yè)需求。

早期，海康基于海量數(shù)據(jù)預(yù)訓(xùn)練，構(gòu)建了視覺大模型、音頻大模型、語言大模型、多模態(tài)大模型等基礎(chǔ)大模型。在此基礎(chǔ)上又構(gòu)建了行業(yè)大模型，廣泛應(yīng)用于電力、公路、煤礦、水利、零售、軌道、工業(yè)制造、城管、金融等各個行業(yè)。針對一些特定任務(wù)，又進行了模型微調(diào)，以滿足具體應(yīng)用場景的需求，如電力巡檢、異常作業(yè)檢測、交通事件檢測、物料盤點、金融合規(guī)檢測等。

具體到金融行業(yè)，海康大模型主要應(yīng)用于安防領(lǐng)域，涵蓋人防、技防和物防三個方面。通過對銀行網(wǎng)點內(nèi)外的智能監(jiān)控，實現(xiàn)了對人員行為的精確分析，如人員聚集、人員跌倒等。同時，大模型在金庫和 ATM 加鈔等場景中提供了高效的合規(guī)性監(jiān)控，確保了金融資產(chǎn)的安全。

通過大模型的持續(xù)訓(xùn)練和微調(diào)，海康大模型能夠根據(jù)每個金融網(wǎng)點的環(huán)境特點進行個性化的優(yōu)化，解決了傳統(tǒng)安防技術(shù)在復(fù)雜環(huán)境下識別準確度低的問題。同時，大模型通過高度自動化的監(jiān)控和管理手段，大幅降低了人力成本，為金融機構(gòu)提供了更為智能化的安防解決方案。

二、整體架構(gòu)設(shè)計

上圖展示了常見的銀行業(yè)務(wù)架構(gòu)。

海康大模型采用了云邊結(jié)合的模式進行部署，以滿足各類應(yīng)用需求。

邊緣部署，如二級分行會部署一些小模型，在智能 NVR、智能分析服務(wù)器等邊緣設(shè)備上，負責(zé)處理本地數(shù)據(jù)，并在局部范圍內(nèi)進行數(shù)據(jù)分析；到省級分行，則使用大模型，利用大模型具備的自學(xué)習(xí)能力，根據(jù)不同環(huán)境進行模型的調(diào)優(yōu)與優(yōu)化。

云端部署，采用了海康云眸，設(shè)備產(chǎn)生的圖片會上傳到云上進行訓(xùn)練、推理，以資源共享的方式，再下發(fā)到設(shè)備。這里的速度會不如邊緣部署那么快。

云邊結(jié)合方案為各行業(yè)提供了靈活的部署模式，既能夠滿足數(shù)據(jù)安全的需求，又能夠有效控制企業(yè)的資源成本。在金融行業(yè)中，邊緣設(shè)備可以在本地完成實時監(jiān)控和風(fēng)險識別，而云端則為全局數(shù)據(jù)提供更深入的分析，確保了金融業(yè)務(wù)的高效運轉(zhuǎn)。

海康觀瀾大模型的主要優(yōu)勢在于：

• 全面的感知能力：海康威視憑借其在物聯(lián)網(wǎng)領(lǐng)域超過 20 年的技術(shù)積累，擁有豐富的數(shù)據(jù)資源，這為大模型的訓(xùn)練提供了堅實的基礎(chǔ)。無論是在視覺感知、音頻分析，還是其他模態(tài)數(shù)據(jù)處理上，海康的大模型都具備了全面的感知能力，能夠應(yīng)對復(fù)雜的行業(yè)需求。
• 豐富的行業(yè)經(jīng)驗：海康通過自主研發(fā)的微調(diào)技術(shù)，顯著提升了大模型的實用性。特別是在復(fù)雜場景下，大模型通過高效的微調(diào)技術(shù)減少了誤報率，提升了識別的準確性，確保了大模型的高效運行。
• 多樣的部署方案：海康還通過自研的蒸餾技術(shù)，將大模型的知識遷移至邊緣小模型，實現(xiàn)了大模型與小模型的聯(lián)動。大模型在云端進行全局優(yōu)化，而小模型在邊緣設(shè)備上進行本地推理，從而在保證高效感知的同時，實現(xiàn)了資源的最優(yōu)配置。

面向網(wǎng)點、金庫、辦公大樓、數(shù)據(jù)中心全場景，搭建了金融辦公場所物聯(lián)感知網(wǎng)絡(luò)，并在此基礎(chǔ)上打造了上層智慧應(yīng)用，統(tǒng)一管理各類算法及算力資源，基于業(yè)務(wù)場景需求賦能AI 應(yīng)用。

通過對從業(yè)務(wù)調(diào)研、方案設(shè)計，到應(yīng)用集成、維護迭代的全流程形成標準化的工程化服務(wù)體系，為海康觀瀾大模型落地提供了保障。

三、挑戰(zhàn)與解決思路

在海康大模型落地的過程中，也遇到了諸多挑戰(zhàn)，主要有以下幾方面：

• 數(shù)據(jù)依賴性：人工智能技術(shù)的效果高度依賴于數(shù)據(jù)的質(zhì)量與數(shù)量，如果缺乏足夠的數(shù)據(jù)，大模型的學(xué)習(xí)與訓(xùn)練就難以實現(xiàn)。這對部分行業(yè)提出了數(shù)據(jù)積累的挑戰(zhàn)，特別是在非傳統(tǒng)領(lǐng)域，數(shù)據(jù)的獲取與清洗是一個長期的過程。
• 傳統(tǒng)深度學(xué)習(xí)的局限性：模型泛化能力不足，傳統(tǒng)結(jié)構(gòu)出現(xiàn)性能天花板，缺乏復(fù)雜推理與認知能力。
• 算力成本：大模型的訓(xùn)練需要大量的計算資源，帶來了巨大的成本壓力。

針對這些挑戰(zhàn)，海康通過技術(shù)創(chuàng)新與積累，不斷提升模型效果，同時盡可能降低模型訓(xùn)練和部署的成本，使大模型得以在更多企業(yè)中落地應(yīng)用。

四、未來展望

隨著海康大模型技術(shù)的不斷成熟，其在金融行業(yè)的應(yīng)用也逐步深入。目前，國有銀行和股份制銀行已經(jīng)陸續(xù)開始部署海康的大模型，未來這一技術(shù)將進一步推廣至更多的金融機構(gòu)。同時，海康也計劃將大模型應(yīng)用拓展到其他行業(yè)，推動各行業(yè)的智能化轉(zhuǎn)型。無論是智慧城市的治理，還是工業(yè)生產(chǎn)的安全管理，海康的大模型都將在未來發(fā)揮至關(guān)重要的作用。