字節大模型團隊Depth Anything V2模型入選蘋果最新CoreML模型
近日,蘋果公司在HuggingFace上發布了20個新的Core ML模型和4個數據集,字節大模型團隊的單目深度估計模型 Depth Anything V2入選其中。
CoreML是蘋果公司的機器學習框架,將機器學習模型集成到iOS,MacOS等設備上高效運行,可在無需互聯網連接的情況下執行復雜的AI任務,從而增強用戶隱私并減少延遲。蘋果開發者可以利用這些模型更容易地構建智能、安全的AI應用。
Depth Anything V2為字節大模型團隊開發的單目深度估計模型。相比上一代版本,V2版在細節處理上更精細,魯棒性更強,并且和基于diffusion的SOTA模型相比,速度上有顯著提升。此外,V2版包括從25M到1.3B參數的不同大小的模型,本次蘋果收錄的CoreML版本經過HuggingFace官方的工程優化,采用最小的25M模型,在iPhone 12 Pro Max上的推理速度達到了31.1毫秒。該模型可以應用在自動駕駛、3D建模、增強現實、安全監控以及空間計算等領域。值得一提的是,Depth Anything 兩個版本,論文一作均為該團隊一位實習同學。
本次蘋果公司新發布的CoreML模型涵蓋了從自然語言處理到圖像識別的多個領域,開發者可使用coremltools 軟件包將TensorFlow等框架訓練的模型轉換為Core ML格式。 通過利用 CPU、GPU 和神經引擎優化設備上的性能,Core ML可最大限度地減少內存占用和功耗。