【WOT2018】梟龍科技謝輝:AR軟硬件開發技術與應用
原創【51CTO.com原創稿件】2018年5月18-19日,由51CTO主辦的全球軟件與運維技術峰會在北京召開。此次峰會圍繞人工智能、大數據、物聯網、區塊鏈等12大核心熱點,匯聚海內外60位一線專家,是一場高端的技術盛宴,也是頂級IT技術人才學習和人脈拓展不容錯過的平臺。
可穿戴設備的出現和移動設備性能的提升,讓AR技術持續升溫。如何借助AR技術輕松完成布局,提升企業核心競爭力就成為了大家關注的問題。在“AR創新技術實踐”分會場,梟龍科技XLOONG CTO謝輝帶來了《AR軟硬件開發技術與應用》的主題分享。
梟龍科技XLOONG CTO 謝輝
針對當前AR系統的發展及應用現狀,謝輝對AR眼鏡、智能手機、互動大屏等AR硬件載體的特點和應用開發注意事項進行了詳細闡述,重點以AR眼鏡為例,講解了標準AR系統的架構,并對AR三大系統,即成像系統、交互系統、定位追蹤系統的技術方案與技術架構做了詳細分析,讓開發者了解不同開發平臺對應用部署的要求。隨后,他還講解了AR人機界面開發的要點。最后結合已有的AR應用案例,謝輝講解了AR在工業、軍事、新零售、安防等領域的應用,并對一些應用的技術方案進行深入剖析。
謝輝表示,AR是一種能夠將真實世界信息和虛擬世界信息“無縫”融合的新技術,它通過電腦技術,將虛擬信息疊加到真實世界,被人類感官所感知,讓人達到超越現實的感官體驗。據投行Digi-Capital預測,到2020年,全球AR市場規模將達到1200億美元。
回顧AR的發展歷史,早在1968年,薩瑟蘭發明了第一臺HMD,即頭戴顯示設備。1992年,AR名稱正式誕生。1999年,第一個AR開源框架Artoolkit誕生。2012年,谷歌眼鏡問世。2015年,現象級AR手游Pokemon GO風靡全球,同年,微軟發布HoloLens。2017年,蘋果發布ARKit,谷歌也發布了ARCore,眾多手機應用集成了AR功能。
AR應用的載體
目前,AR應用的載體主要是AR眼鏡和智能手機。AR眼鏡包括單目眼鏡、雙目眼鏡、全息眼鏡、光場眼鏡,這些眼鏡都有各自的特點以及應用場景。
單目眼鏡:只在眼鏡的右上方有一個小的顯示視窗,這種眼鏡一般不會做虛實融合的應用,只是做一些信息顯示,主要用于給運動騎行的用戶提供運動攝像拍照、信息顯示、導航、接打電話等功能。這種產品的市場比較小,在開發的時候,建議做成卡片式的UI。
雙目眼鏡:顧名思義,兩個眼鏡片都可以顯示,一般是在用戶的正前方,會有一個比較大的視場角。開發方式和手機比較類似,也是基于一些圖像點的識別開發一些應用。雙目眼鏡和手機最大的區別就在于光學顯示。手機主要是利用顯示屏來顯示內容,用攝像頭捕捉畫面在顯示屏上顯示出來。最終通過視頻的方式呈現,做到虛實結合,用戶所看到的實景是通過攝像頭捕捉的畫面顯示在顯示屏上,而不是用戶真正透過手機來看。
AR眼鏡的差別是通過光學,利用眼鏡片半透的物理特性,一部分的光線能夠穿透眼鏡片,看到外面的世界。用戶看到的虛擬物體就是通過實際顯示屏渲染出來的實際物體。所以,這是兩者最大的差別。在開發AR眼鏡應用時,開發者需要注意不要把攝像頭的實際畫面直接全屏放到AR眼鏡上,這是由于畫面會遮擋住用戶一部分視野,同時,攝像頭的視角和人眼真實的視角還有很大的差別。
全息眼鏡:代表性的產品就是微軟的HoloLens,通過集成鏡片模組、手勢交互以及眾多的攝像頭實現了空間感知能力。HoloLens的應用具有鉚定的效果,相當于把某個應用和程序直接鉚定在空間里面,不會隨著用戶頭部的移動而變換空間位置。
光場眼鏡:在提供上述交互的前提下,還具備光場顯示,利用光纖掃描的方式,在光圈上進行成像,并具有深度信息。以往的AR眼鏡成像都是在同一個顯示平面上,而光場眼鏡成像是根據程序設置,可以在任意某一焦距進行成像。因此,光場眼鏡具有很強的立體感,也會更加真實。
按照AR技術的發展趨勢,顯示交互技術將成為發展的核心。從眼鏡的顯示技術來看,已經從小視場角,逐步發展到大視場角,然后再到加入深入感知信息的光場顯示技術。交互技術也從最傳統的觸摸板,到語音交互,再到手機交互,未來可能還將延伸出很多其他的技術交互方式。
AR系統解讀
一個典型的AR系統是由電源管理、音頻子系統、網絡連接、存儲幾部分組成,這也是傳統電子產品都會具備的部分。不同的是音頻子系統可能需要具備3D生成的功能,在模擬真實環境的時候,例如虛擬物體從左邊到右邊,其音頻子系統的生成也會模擬出相同的聲音效果。
同時,AR典型系統中還有一些特有的東西,例如GPU、光學模組、VPU、相機。GPU和光學模組構成了AR系統中的成像系統,把CPU需要顯示的動目,通過GPU渲染,然后傳輸給光學模組,最后由光學模組來成像。
相機和VPU組成了AR系統里的交互系統和追蹤系統。相機主要是采集外面的視覺信息,通過視頻處理器(VPU)進行算法處理。例如像手勢交互的算法都可以放到VPU進行處理,而CPU主要運行的是操作系統以及應用層的軟件。
AR應用案例
目前,AR技術已經廣泛應用于營銷、游戲、教育、工業、旅游、軍事等各個行業。
•AR+營銷:ARGO是一款手機購物APP,可自助完成AR掃描、上傳圖文視頻內容;用于企業營銷送獎和用戶消費體驗的APP,包括“AR”、“商城”、“推薦”、“我的”等模塊。通過運營方和品牌商的合作,為其商品添加AR掃描、AR紅包游戲等營銷方式。對于品牌商,可以激活線下流量,增強品牌宣傳力度,對于消費者,則讓購物變得更簡單,更有趣。
•AR+新零售:借助虛擬大屏和攝像頭,可以實現虛擬試戴的效果,賦能新零售,某眼鏡售賣機項目借助普通RGB攝像頭,捕捉人臉特征點,根據特征點計算空間變換矩陣,建立虛擬眼鏡模型與實際現實場景的對應關系,從而達到虛擬試戴的效果。
•AR+工業維修:AR眼鏡為裝備維修過程中提供操作指導,將裝備的3D模型、工作原理、常見故障處理辦法呈現在眼前,手把手幫助現場服務人員解決復雜裝備的維修問題,以減少人為差錯,提高維修質量。服務人員也可以呼叫專家遠程協助。
•AR+工業巡檢:AR巡檢可將已有的巡檢內容,包括圖文、視頻、3D動畫,通過XJWork進行編輯,轉化成可視化巡檢材料,方便對巡檢資料管理,傳輸給AR智能眼鏡端,實施指引巡檢人員按照對應的材料標準規范的完成巡檢工作,還方便對巡檢材料進行管理,系統也可以對巡檢設備實時推送任務。
•AR+安防:包括身份識別、車牌識別、執法識別、遠程調度指揮四方面的應用。AR安防可以勝任和執法記錄儀同樣的工作,AR眼鏡前面的攝像頭主要用作執法記錄,同時還帶有網絡模塊,通過內置AR系統可以實現人臉識別、車牌識別、指揮調度。
據介紹,梟龍科技是一家為企業和消費者提供AR解決方案的科技公司,擁有自主研發的核心光學系統、計算機視覺、深度學習等AR與人工智能核心技術,具備成熟的項目開發與交付流程。
經過幾年的努力發展,梟龍科技已經提供了完善的行業解決方案、硬件產品、光學產品以及軟件產品。主要就是通過自己的技術共建行業壁壘,讓技術產品化、讓產品商業化。目前,大多數的硬件產品都是通用化的平臺產品,針對各行各業的特點,梟龍科技開發出了差異化的AR眼鏡,同時結合很多垂直的行業領域,推出整合的行業解決方案。
講師簡介
謝輝, 2013年碩士畢業,大學期間參與多個輪機模擬器項目的研發,獲得過遼寧省電子設計大賽一等獎及遼寧省優秀畢業生。畢業后就職于華為技術有限公司從事手機研發,積累了豐富的研發及產品管理經驗,曾主導多款“百萬發貨級”智能手機的設計,2015年從華為離職聯合創辦北京梟龍科技有限公司,擔任首席技術官,負責公司技術團隊管理、項目管理及技術規劃,對AR軟硬件開發技術及AR落地應用有深刻的理解。
以上內容是51CTO記者根據梟龍科技XLOONG CTO謝輝在WOT2018全球軟件與運維技術峰會的采訪內容整理,更多關于WOT的內容請關注51cto.com。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】