蘋果AI爆炸全宇宙!一夜重塑iPhone,Siri全家桶史詩級更新,馬斯克怒了
蘋果說到做到,一夜間,iPhone果然被AI重塑!
長達一個半小時的WWDC大會,主題就是AI、AI、AI——
從iPhone、iPad到Mac,無不被生成式AI覆蓋。橫空出世的Apple Intelligence,讓蘋果全系產品有了史詩級升級。
圖片
現在的整個蘋果全家桶,都會用上GPT-4o,Siri還能隨時召喚ChatGPT。
硅谷各家大科技公司的大模型發展得如火如荼,蘋果能做什么?庫克的這句話揭示了答案——「LLM等AI突破,讓我們有機會把蘋果產品的體驗推向新的高度」。
你們做模型,我們做產品,的確是蘋果一貫擅長的賽道。
圖片
而且,對于大家普遍擔憂的安全問題,蘋果也有解:通過蘋果強大的自研芯片,普通大模型在設備端運行,太大的大模型就放到云端。
而蘋果專門打造的私密云計算技術,也保障了我們的隱私和安全,我們的數據就連蘋果都無法訪問。
被Apple Intelligence加持的Siri,也徹底改頭換面,全面逼近蘋果讓它「自由穿梭于系統中,隨時聽我們調遣」的愿景。
圖片
此外,除了Vision OS的重大更新之外,庫克的這個消息也讓中國用戶激動不已:Vision Pro將于6月28日登錄中國市場,本周五開始接受預定,價格29999元起!
圖片
網友:蘋果AI滿足了我的所有想象
有中國網友評論說:太牛了,Apple Intelligence真的滿足了自己對AI在設備上的所有想象,不愧是蘋果。
圖片
以前是Artifical Intelligence,如今就是Apple Intelligence了。
圖片
對于iPadOS 18的數學筆記功能,很多人都表示這太狂野了!
圖片
關于計算器應用終于登錄iPad這一史無前例的事件,網友們表示萬分激動。
圖片
OpenAI創始成員,AI大牛Karpathy對于蘋果的這次更新也稱贊不已:「我們正在進入一個打開手機就可以說話的世界。它可以和你對話,而且它認識你。這實在太令人興奮了!」
圖片
Karpathy總結了這次蘋果發布會的幾大主題:多模態輸入/輸出、智能體、無摩擦、主動、分級售授權、模塊化、隱私
還有人給這次蘋果的所有更新做出了一張bingo游戲圖。
圖片
Apple Intelligence:不僅個人化,而且懂你
蘋果的目標,就是為全球10億用戶構建強大的個人化產品。
而近期生成式AI和LLM的發展,直接給蘋果產品使用體驗的全新升級帶來了可能。
蘋果對于產品的核心原則是: 足夠強大,在最要緊的事上都能幫到用戶;直觀易用;深度整合到產品的使用體驗中;它必須足夠「懂你」,以你的個人情境為基礎;而且,還要注重保護隱私。
如果這些原則都能滿足,那它絕不僅僅是AI了,而是一種「個人化智能」。
而符合全部這些條件的Apple Intelligence,就在昨晚閃亮登場了!
為了這一刻,蘋果已經準備了許久
這個全新的個人化智能系統,能讓我們手中的個人化產品更實用、更稱心。
市場上已有的AI聊天工具雖然好,但有一個通病:很少充分了解用戶,因而也不理解我們的需求。
而蘋果,要改變這一切。Apple Intelligence,會讓即將到來的iOS 18、iPadOS 18和macOS Sequoia,徹底脫胎換骨!
Apple Intelligence,將強大的生成式模型置于iPhone、iPad和Mac的核心,能夠根據我們所處的個人情境,來提供協助,而且深度整合在了所有的APP中。
能力
Apple Intelligence,可以讓我們的iPhone、iPad和Mac理解、生成語言和圖像,還能代替我們跨多個app交互,簡化操作過程。
它最亮眼的地方,就在于理解我們的「個人情境」。
自然語言
Apple Intelligence中內置的LLM,能深刻理解自然語言。
比如,iPhone可以為通知設定優先次序,從而為我們減少不必要的干擾,同時又能不錯過重要的信息。
它還會驅動一個全系統適用的全新書寫工具,讓我們寫起東西來更從容。
它能幫我們重寫、校對,還能提取文字摘要。
在它的幫助下,我們無論是寫文章、發帖,還是提煉想法分享給他人,過程都會無比絲滑(甚至還能幫我們檢查要發在網上的評論)。
同時,它還自動支持郵件、備忘錄、Safari瀏覽器、Pages、Keynote,甚至第三方APP。
圖像
Apple Intelligence還包含多種圖像功能,從照片、表情符號到動圖。
甚至,它還能讓我們完全自創圖像,讓我們的日常對話更有趣。
更有趣的是,因為它認得我們照片圖庫中的人物,我們可以把他們的圖像個性化,用到對話中。
比如,給朋友送上生日祝福時,我們可以生成ta的圖像,用蛋糕、氣球和花朵點綴起來。
生成的圖像,有素描、插圖、動畫三種風格可選。
更讓人驚喜的是,這些功能在系統中所有app都可用,包括Notes,Freeform,Keynote,Pages等等。
圖片
跨app操作
Apple Intelligence的另一個特點,就是還能跨app操作,這無疑會帶來深遠的影響。
它所需工具的各種資源,就在我們自己的口袋中——這些常用的app里。
蘋果設計的Apple Intelligence,能隨時取用這些工具,代我們執行各種操作。
圖片
我們可以直接向它開口:「調出上周Joz發給我的文件」,或者「給我看看所有媽媽、Olivia和我的照片」「播放前幾天我太太發給我的播客」等等。
Apple Intelligence,會實現數百種此類操作。
圖片
個人情境
顧名思義,個人化智能最關鍵的要素之一,就是要深刻理解我們的個人情境。
而Apple Intelligence的運作,正是基于我們的個人信息都和情境之上的。
它能從我們的各種app中,檢索和分析相關程度最高的數據,還能參考我們屏幕上的內容,比如我們正在查看的郵件,或者日歷日程。
圖片
在日常生活中,這個功能可太有用了!
比如,我有一場會議改到了傍晚,我想知道開完這場會后,是否還能趕上女兒的演出,直接問Apple Intelligence就可以了。
因為它知道我女兒是誰,她幾天前發來的演出詳情,我這場會議的時間地點,甚至還能預估我從公司到劇院的交通情況。
圖片
架構
這個個人化智能系統的基石,就是設備端處理。
要實現這項功能,就離不開蘋果軟硬件整合,以及強大的芯片。
提供支持的芯片,包括A17 Pro,以及M系列芯片,它們為Apple Intelligence提供了堅實的算力基礎。
圖片
它內置了設備端的語義索引,可以整理和提煉各種app中的信息。
我們提出請求,Apple Intelligence就會同通過語義索引,識別相關個人數據,然后傳給模型,讓它們根據個人情境更好地協助你。
圖片
這個過程中用到的大多數模型,都能在設備端運行。
然而有的模型,會大到無法放進隨身攜帶的設備,怎么辦?
答案就是——服務器。
不過這里依然有一個問題,在傳統的做法中,服務器會儲存我們的數據,在我們不知情的情況下使用這些數據。我們卻無法對之驗證,因為服務器軟件只有所有者才能訪問。
而蘋果的做法,徹底斷絕了這種可能!
我們能全權掌控自己的數據,包括在哪里儲存、誰能訪問。當iPhone上的隱私和安全保護功能擴展到云端,我們就能解鎖更多智能功能了。
為此,蘋果打造了私密云計算技術。
圖片
它不僅能擴展自身的計算能力,還能引入更大的基于服務器的模型,來處理更復雜的請求。
而我們的隱私也會得到保護,因為我們的數據絕不會被存儲,連蘋果都無法訪問。
體驗
Apple Intelligence強大的語言理解功能將落地為寫作助手(Writing Tool)。
作為操作系統的內置AI,寫作助手不僅可以用在手機自帶的短信或郵件中,也同樣支持所有需要輸入的第三方應用。
郵件中有了自帶的校對功能,可以一鍵查看修改建議,并能直接看到所有詞語的釋義。
寫郵件時,再也不需要一遍遍復制粘貼到其他應用的界面了,蘋果一夜之間就搶了Grammarly的看家生意。
圖片
不僅是文本校對,Writing Tool也同樣提供多樣化的改寫功能。
它可以同時在文中生成多個改寫版本供你選擇,也能隨時回滾到原始版。
圖片
此外,用戶還能和Writing Tool進行個性化交互,定制自己的改寫需求,比如改變文體、文風、語氣等等。
想要發一封有文采的邀請函?Writing Tool可以瞬間幫你把現有的平常文字改寫成一首詩。
圖片
或者一鍵在友好、專業、簡潔等三種文風間切換,絲滑適應不同身份的收件人。
圖片
谷歌都有了網頁內容的摘要,蘋果又怎么能落下。這不郵件的摘要功能就出來了,拯救所有不想讀長郵件的打工人。
圖片
郵件太多懶得回?Writing Tool也幫你想好了對策。
Smart Reply功能可以自動理解郵件的上下文內容,并自動為你生成一堆選擇題。
只需要點擊幾下選出自己的答案,就能生成一份智能回復,連打字都省了。
圖片
Siri
13年前,Siri首次問世,作為曾經首屈一指的智能語音助手曾經掀起巨大熱度。
如今,繁忙的Siri每天需要處理15億次語音請求。而它離蘋果「自由穿梭于系統中,隨時聽我們調遣」的愿景,也更近了一步!
在Apple Intelligence的加持下,Siri變得更自然、更貼合語境了,因此也變得更加貼合我們。
如今當我們和Siri對話時,它和系統的整合會更深入。當它運行時,優雅的光暈會環繞著屏幕邊緣。
圖片
我們和Siri的對話也可以更自然,因為它能理解更豐富的語言。即使說話不連貫,它都能理解我們的意思。
比如問它:明天繆爾海灘是什么天氣,不對,是繆爾森林。
它會清晰地理解你的意思,并且給出正確的回答。
圖片
即使我們在提問中停頓,思考一番,Siri依然能跟上我們。
在對話中,Siri還能聯系上下文。比如我們接著上面說「創建日歷日程,明天上午9點去那里徒步」,它立馬正確地理解「那里」指的是哪里,完成了指令。
圖片
如果我們不想跟Siri大聲說話,現在可以直接給它打字了。
只要在屏幕下方快速輕點兩下,就能讓Siri快速設好鬧鐘,整個過程悄無聲息。
跟Siri交流的過程中,我們可以在文字和語音中隨時切換。
而且,現在Siri掌握了大量關于功能和設置的信息,能回答數千個問題,關于如何在iPad或Mac上進行操作。
圖片
即使我們不知道某項功能的確切名稱,只需要口頭描述一番,Siri就能幫我們找到了!
比如直接問它:「我想現在就寫好信息,然后明天發送,該怎么做?」
Siri完全明白我們說的是哪個功能,還提供了分步說明。
圖片
Apple Intelligence還會為Siri帶來屏幕內容感知功能,這樣,它就能理解屏幕上的內容,執行相應的操作。
比如朋友發消息告訴你ta的新地址,你可以直接在信息對話中說,「把這個地址加入ta的聯系人名片中」。
圖片
當然,Siri也可以完成跨app操作。
比如我們可以說:「讓我看看Stacey在紐約穿著粉色大衣的照片」,Siri就會把它們找出來,然后還能按照我們的指令開始修圖。
圖片
然后,我們還可以讓Siri把這張照片加到備忘錄中Stacey的簡介里,它就會從照片app跳轉到備忘錄app中,來完成操作。
這些增強功能,也并不限于蘋果開發的APP。
比如,我們可以讓Siri用Moment的Pro Camera,來拍攝光軌的視頻。
圖片
也可以讓Siri把我們備忘錄里的會議摘要,分享到我們在Superhuman中給大家寫的郵件里。
下面的這個功能,就更酷炫了!
通過為照片、日歷日程、文件等創建語義索引,再加上往來消息和郵件的信息,比如預定酒店、音樂會門票的PDF文件、朋友分享的鏈接等,Siri能發現和理解的內容范圍,將遠超以往。
如果我們忘了資料是在郵件、信息還是在共享備忘錄里,Siri都能解決。比如我們需要找到朋友之前推薦的書單,或者是填表時需要駕照號碼。
圖片
假如我們打算去機場接媽媽,Siri能直接幫我們規劃時間。
它能同時參考媽媽在郵件里寫的航班詳情,以及航班的實時動態,為我們提供最新的到達時間。
而在和媽媽的閑聊中,她提到過中午訂了餐廳,我們就可以直接問Siri去那家餐廳需要多久,完全不必在郵件、信息和地圖中跳來跳去了!
如蘋果所說,今年將成為Siri新紀元的起點。
蘋果「全家桶」用上GPT-4o
以上所展示的蘋果AI能力,僅是一個「起點」。它能夠以極為獨特的方式理解你、尊重你、支持你。
未來,蘋果還將帶來超多的實用功能,比如備忘錄中的錄音和轉寫功能。
圖片
它能夠幫你更詳細地記下筆記,專心聽講,完全可以替代GoodNotes、Notability這類的學習工具。
錄音/轉寫完成后,蘋果AI還能幫你總結摘要,掃一眼便能抓住要點。
圖片
與此同時,錄音/轉寫和蘋果AI結合的能力,同樣適用于電話應用。
當你實時通話的時候,開啟錄音,所有的參與者都將會收到通知,并且通話結束后蘋果AI也會生成一段摘要。
圖片
Siri召喚ChatGPT
對于一些非常有用的外部AI工具,比如擅長處理某些需要廣博知識,或者專業特長的任務,蘋果直接將其模型納入體驗之中,而無需來回切換工具。
當然,這個工具就是行業的翹楚、市場的開拓者和領頭羊—— ChatGPT。
蘋果AI將用上全新的GPT-4o能力。
首先,Siri可以借助ChatGPT的專長,隨時為我們所用。
比如,你想用剛釣的魚,和自家種的菜為朋友準備一頓豐盛的大餐時,可以找Siri給些靈感。
Siri便會問你,是否召喚ChatGPT,然后直接為你呈上最豐富的答案。
圖片
而且,問問題時,你還可以上傳一張照片。比如,詢問如何家裝的建議,拍張照片然后問「這個露臺種什么植物好看」?
Siri會首先確認是否會向ChatGPT分享照片,然后才會為你找尋點子,整個過程完全就是一氣呵成。
圖片
除了照片,你還可以詢問關于文檔、演示文稿,或者PDF中的相關問題。
另外,蘋果AI還借用了ChatGPT的編寫能力,將其融入所有系統中適用的書寫任務中。
假設你想為擅長解謎的6歲女兒寫一個睡前故事,初步構想是「她來到了夢幻的蝴蝶童話王國。她和一只毛毛蟲成為了好友,并幫它克服重重困難,最終變成了一只蝴蝶」。
只見,ChatGPT不一會兒功夫完成了一個Annie喜歡的小故事。
圖片
甚至,你還可以選中所有內容,讓ChatGPT為其生成一副插畫。
圖片
以上所有能力,無需注冊ChatGPT,便可免費使用。
對于那些訂閱ChatGPT的用戶們,也可以關聯自己的賬號,可以在使用蘋果AI過程中接入付費的能力。
不過,蘋果再三強調,我們的請求和個人信息不會被記錄。何時使用ChatGPT,都是你說了算,再分享任何信息之前,都會征求用戶的許可。
ChatGPT也將集成到這次所有更新的iOS 18、iPadOS 18、macOS Sequoia系統中,并在今年晚些時候推出。
未來,其他先進的AI模型的能力,也會集成到蘋果AI之中。
不出所料,蘋果AI能力僅限在iPhone15級別的手機上使用,不過對于iPad、MacBook還比較友好些,能夠兼容M1芯片及以上的硬件。
圖片
馬老板怒了,禁止全員使用蘋果
ChatGPT在蘋果全家桶中無縫集成能力雖炫酷,卻遭到的全網非議。
最先反對的就是馬老板!
他連發多篇帖子,對ChatGPT上機蘋果表示不滿,甚至揚言禁止公司所有成員使用蘋果的設備。
圖片
我不想要這個能力。這就如同間諜軟件一般,如果你們不阻止,我的公司將禁止使用任何蘋果設備。
圖片
另外,馬斯克還單獨發帖子稱:
「對于公司的外部來訪者,都必須在門口將他們的設備放在「法拉第籠」(Faraday cage)中」。
圖片
蘋果沒有能力開發AI,卻能夠確保OpenAI會保護你的安全和隱私。一旦蘋果將你的數據交給OpenAI,他們就不知道OpenAI究竟會如何處理這些數據,他們實際上是在出賣你的隱私權。
圖片
圖片
也有眾多網友對蘋果的這項能力,產生了質疑。
一位網友從底層架構圖中得出,Siri可以讀取手機上的所有數據(適用于選擇加入的應用程序) 。
圖片
圖片
一家AI初創的CEO表示,
老實說,我真不理解蘋果為什么要把任何東西發送給ChatGPT?這太怪異了。為什么不直接讓Meta授權,然后自己部署400B的Llama模?從70B開始也可以呀...
他們口口聲聲強調隱私和安全,甚至聲稱你不應該相信任何人!結果他們卻來了個180度大轉彎——是的,我們正在把你的數據發送給ChatGPT。
圖片
還有人配上梗圖諷刺道,「當奧特曼已耗盡100%互聯網訓練數據時,看到十億部手機時」。
圖片
蘋果AI背后模型訓練過程揭秘
發布會之外,蘋果還發布了一篇關于介紹蘋果AI能力實現背后的基礎模型的文章。
圖片
博客介紹道,蘋果AI是由「多個」強大的生成式AI模型組成,這些模型專用于日常任務,并根據當前活動實時調整。
他們強調,內置的基礎模型針對用戶體驗進行了微調,比如編寫和提煉文本、對通知優先排序匯總等等。
圖片
接下來,蘋果詳細介紹了兩個經過微調建模的模型:
一是,可以運行在終端設備中的30一參數模型。
另一個是,更大的基于蘋果芯片加持云服務器的基礎模型,可用于私有云計算。
其他模型還包括,用于編碼的XCode,擴散模型(幫助用戶如在Messages應用中,以視覺方式表達自我)。
預訓練
蘋果的基礎模型,是在2023年發布的開源項目AXLearn框架之上訓練的。
AXLearn建立在JAX和XLA之上,可以在各種訓練硬件和云平臺上高效、可擴展地訓練模型,包括TPU和云端及本地GPU。
另外,蘋果研究團隊還采用了數據并行、張量并行、序列并行和全分片數據并行(FSDP)等組合方式,從數據、模型和序列長度等多個維度來擴展訓練規模。
圖片
至于數據的選用,蘋果表示自己用的是授權的數據訓練基礎模型。
其中包括兩種數據來源:一是經過精心選擇,目的是提升模型的特定功能;二是,蘋果網絡爬蟲AppleBot工具從網上公開采集的數據。
后訓練
蘋果團隊意識到,數據質量對于模型的成功,至關重要。
因此,他們在訓練過程中,采用了「混合數據策略」,即結合使用人工標注和AI生成數據,并進行了徹底的數據篩選和處理。
具體來說,研究團隊在模型「后訓練」階段,開發了兩種全新的算法:
(1) 拒絕抽樣的微調算法,使用多個教師模型作為參考,對模型輸出進行過過濾和微調
(2) 人類反饋強化學習算法,結合使用了鏡像下降策略優化,以及留一法優勢估計器(leave-one-out advantage estimator)新技術。
結果發現,這兩種算法可以顯著提升模型指令跟隨的質量。
圖片
優化
另外,蘋果還采用了一系列創新技術,在設備端和私有云上優化模型的速度和效率。
他們對第一個token推理和擴展token推理的性能都進行了大量的優化。
無論是設備端模型還是服務器端模型,都采用了「分組查詢注意力機制」(grouped-query-attention)。
蘋果還使用了共享的輸入和輸出詞表,以減少內存需求和推理成本。這些共享的嵌入張量在映射時不會產生重復。
設備端模型的詞表大小為49k token,而服務器端模型的詞表大小為100k token。
對于設備內推理,他們還是用了「低比特量化」(low-bit palletization)的技術,能滿足所需的內存、功耗和性能要求。
為了保持模型輸出質量,研究團隊開發了一種新框架——使用LoRA adapter,并采用了混合2位和4位的配置策略,平均每個權重占3.5位——從而達到與未壓縮模型相同的精度水平。
此外,他們還使用了一種名為「Talaria」模型,可以對模型的延遲和功耗進行交互式分析,更好地指導在不同操作中選擇合適的量化精度。
蘋果基礎模型還采用了激活值量化和嵌入量化技術,并且開發了一種在蘋果神經網絡引擎上高效更新鍵值緩存的方法。
值得一提的是,通過以上優化,iPhone 15 Pro可實現每個提示token首次輸出的延遲約為0.6毫秒,生成速率為每秒30個token。
這一性能實現,并未采用token猜測技術,如若開啟,速度將會更近一步提升。
模型自適應
蘋果基礎模型針對用戶日常任務進行了微調,并且能夠根據實時任務完成動態化適應。
這一過程實現,是借助適配器,即一些可以插入到預訓練模型各層的小型神經網絡模塊,對模型進行特定任務的微調。
通過調整適配器中注意力相關的參數和前饋網絡的參數,可以讓整個LLM的行為專門化到特定任務上。
圖片
性能與評估
針對總結功能的評估中,蘋果與微軟Phi-3-mini小模型進行了對比。
可以看得出,不論是在郵件、還是通知中,蘋果設備端30億參數的模型在「優秀」和「差」的生成中更占優勢。
圖片
蘋果還將自家模型,與開源模型(Phi-3、Gemma、Mistral、DBRX)和商業模型(GPT-3.5-Turbo、GPT-4-Turbo)進行了比較。
結果發現,人類評估者更傾向于蘋果模型輸出的結果。
在這個基準測試中,30億參數設備端模型的表現甚至超過了更大的模型,如Phi-3-mini、Mistral-7B和Gemma-7B。
而服務器端模型在性能上,甚至可與DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo相媲美,同時效率極高。
圖片
對于模型輸出危害評估,蘋果模型比率最低,說明輸出有毒內容較少。
圖片
與此同時,蘋果模型在安全提示的評估中,設備端模型完全碾壓Phi-3-mini、Mistral-7B,服務端模型打敗了DBRX-Instruct、Mixtral-8x22B。
圖片
在指令跟隨(IFEval)基準上,與其他模型相比,蘋果模型展現出了強大的能力。
圖片
最后一個是寫作基準,終端上的蘋果基礎模型,是性能最優的。在服務器端,作文方面的能力還是不如GPT-4 Turbo。
圖片
二代VisionOS更新,蘋果頭顯月底登陸中國
據上次發布Vision Pro和Vision OS剛剛過去4個月,蘋果就又在WWDC上宣布了Vision OS的重大更新。
而且,還有讓中國用戶更加激動的消息——
庫克在發布會上正式官宣,Vision Pro 將于6月28日登陸中國市場,將于本周五(6月14日)開始接受預定,國行價格為29999元起。
圖片
Vision Pro中的照片App集成了空間計算技術,戴上就可以瀏覽「3D」照片,讓你有走進照片、「重現過去」的感覺。
最新的iPhone 15 Pro和Max的后置鏡頭已經可以拍攝空間影像,蘋果也和佳能合作為專業照相機開發了空間鏡頭。
圖片
那以前拍攝的傳統平面照片呢?
自然也不能落下。Vision Pro集成的機器學習模型,可以將照片從單視角變為雙眼視角,還能添加圖像深度,瞬間2D變3D。
圖片
之前的Vision Pro已經可以和Mac集成,蘋果這次決定升級Vision中的虛擬屏幕,同時提高分辨率和屏幕寬度。
今年的更新后,一個Vision Pro相當于電腦的兩個4k外接屏幕,動態注視點技術讓你無論從哪個角度看屏幕都無比清晰。
圖片
而且,這個虛擬屏可以隨時打開,比如「旅行模式」可以讓你在飛機上隨時大屏追劇或私密辦公。
圖片
Vision Pro想要變得越來越好用,讓以上這些功能走入現實,不能少了開發者的App和創作者的優質內容。
目前已經有超過2000個專門為Vision Pro開發App,以及其他1.5萬個兼容VisionPro的手機或平板應用。
這次Vision Pro的更新也包括了各種服務于開發者的API:
- 3D空間內的多任務處理器Volumetric(可以說是Vision Pro上的Stage Manager)
- 讓應用錨定在各種平面上的TableTopKit
- Enterprise API讓企業可以定制各種復雜應用
圖片
比如使用TableTopKit開發棋牌游戲,讓棋盤錨定在桌面上,加上顯示在空間中的FaceTime的頭像,下棋的體驗就更加沉浸式了。
圖片
去年Vision Pro發布了Apple Immersive Video,經過今年的再次更新,蘋果始終萎靡不振的內容產業很可能要翻盤了。
現在它的手里掌握著各路流媒體都不具有的空間影像技術。180度視角的8k視頻加上高品質的音效,達到了甚至超越3D影院的逼真體驗。
圖片
而且這次的發布非常垂直,打包了3D空間視頻的全產業鏈。
對于業余愛好者,拍攝可以用iPhone或與蘋果合作的佳能相機,剪輯可以用Mac自帶的Final Cut Pro,觀看可以用Vision OS中的Vimeo。
在專業創作領域,蘋果和創意視頻公司Black Magic Design合作,從攝像機到剪輯、后期軟件全覆蓋,今年晚些時候就會發布。
圖片
此外,蘋果還和多方合作,制作原創的Apple Immersive Video并發布在Apple TV中。
合作方在內容領域都是大名鼎鼎,包括頂級歌手The Weekend、奧斯卡獎導演Edward Berger,以及與紅牛制作的極限運動系列。
參考資料:
https://developer.apple.com/videos/play/wwdc2024/101/
https://machinelearning.apple.com/research/introducing-apple-foundation-models