編輯 | 伊風
出品 | 51CTO技術棧(微信號:blog51cto)
中國大廠開始發力AGI了!
據媒體報道,字節跳動 AGI 研究團隊浮出水面,揭開了字節AGI的秘密布局!
報道稱:1 月下旬,字節正式設立代號為“Seed Edge”的研究項目,核心目標是做比預訓練和大模型迭代更長期、更基礎的 AGI 前沿研究。
好家伙,感覺中國的幾家大廠,字節是最先明牌要搞AGI的,有錢有資源的“宇宙廠”這下又走在最前列了。
接近字節的知情人士透露,Seed Edge的目標是探索AGI的新方法,代號名中Seed是豆包大模型團隊名稱,Edge代表最前沿的AGI探索。
Seed Edge鼓勵跨模態、跨團隊合作,為項目成員提供寬松的研究環境,實行采用更長周期的考核方式,以保障挑戰真正顛覆性的AGI課題。同時,Seed Edge也將得到單獨的算力資源保障。
此外,字節或將在AI基礎設施方面有所動作。今天早上,外媒爆料“字節2025年斥120億美元開發AI芯片”的消息,很快就登上了脈脈熱搜。
字節的相關人士進行了辟謠,稱雖然公司確實重視人工智能領域的發展與投入,但具體的預算和規劃傳聞并不正確。
1.持續的AGI探索:Seed Edge 已擬定 5 大研究方向
據報道,Seed Edge 擬定的 5 大研究方向都相對長期,不會像迭代模型那樣追求快速出成果:
- 下一代推理:探索更高效且更通用、提升模型推理能力的方法。
- 下一代感知:找到統一生成和理解表示的方法,表示和壓縮真實世界,構建 “世界模型”。
- 軟硬一體的模型設計:從軟硬一體出發,探索 Transformer+GPU 之外的模型設計,發揮下一代硬件的能力。
- 下一代范式:在反向傳播、Transformer 架構、預訓練 + 對齊的模式之外,探索更高效的模型結構和學習方法。
- 下一代 Scaling 方向:在預訓練和推理階段的 Scaling Laws 之外,探索 Multi-Agent(多智能體)和 Test-Time Training(測試時間訓練,動態調整模型參數)等方向。
2.字節身處AI變革:中國大企業中最敢于調整的、速度極快
據報道,一位接近字節的人士稱,面對 AI 變革:“字節是中國大公司中最敢于調整的,行動速度極快。”
從字節給人感覺在AI上慢了一拍,到現在產品和模型技術的迎頭趕上,字節跳動似乎只用了不到1年的時間。
回到2024年1月份,字節CEO梁汝波在年度全員會上反思:字節直到2023年才開始討論GPT,而業內做得比較好的大模型創業公司都是在2018年至2021年創立。
在字節做團隊調整之前,字節的AI人才是分散的,跟隨AI Lab的重組被拆分到了不同的業務線中。但字節在23年重整了AI核心,先是搭建了頂尖AI人才的Seed團隊,該團隊主要班底來自搜索、AML、AI Lab等部門中的大模型相關人才;然后又組建了Flow團隊,負責基于大模型的AI原生應用的研發,月活量在國產AI中斷層的豆包就是這個團隊的成果。
字節激進的“搶人”策略,為這種超越打下了堅實的基礎。
一位從事獵頭工作的人透露:字節對于基礎模型研發相關人才的招聘是沒有名額上限的,對于目標團隊的候選人在薪資上開出的數字非常可觀,經常可以看到基于原薪資雙倍的漲薪幅度。
去年5月,為儲備最具潛力的研究人才,豆包大模型團隊啟動了“Top Seed人才計劃”,以極具競爭力的待遇在全球招募頂尖博士畢業生加入。成立短短數月內,豆包大模型團隊57篇論文中選ICLR、CVPR、NeurIPS等頂會,研究成果包括下載量超百萬的開源工作及GitHub萬星項目。同時,團隊與近20所高校展開合作,包括與清華AIR、北大分別成立AI方向聯合實驗室。
3.豆包1.5,堅持做0蒸餾的大模型
昨天,豆包大模型1.5 Pro版本正式發布。
目前,該大模型已在豆包APP灰度上線,開發者也可在火山引擎直接調用API。
值得注意的是,在技術報告中,字節畫了個重點:“扎實數據標注,堅持不走捷徑”。
“在 PostTraining 階段,我們精心構建了一套高度自主的數據生產體系,該體系通過高效標注團隊與模型自提升技術的深度融合,持續且精準地優化數據質量,嚴格遵循內部標準,堅持不走捷徑,不使用任何其他模型的數據,確保數據來源的獨立性和可靠性。”
最近,蒸餾模型已成為AI領域的“心照不宣”事實,也引發了不少爭議。
通過對開源模型(如o1等)的整理優化,可以快速對齊頂尖模型的性能。就連奧特曼也曾對這個策略吐槽(OpenAI規定不許將結果用于其他模型的訓練)。
高效的蒸餾也有短板,因削弱了部分原始模型的深度學習能力,甚至導致“報錯家門”的尷尬局面,削弱了AI的獨創性和安全性。
相比之下,豆包堅持不依賴蒸餾路線,選擇將核心技術和數據安全牢牢掌控在自己手中。
期待他們的“Seed Edge”能順利抵達邊緣,把更多AGI的未知點亮在我們的面前。
參考鏈接:
1.https://www.163.com/dy/article/JMIVEUE10531M1CO.html
2.https://www.jiqizhixin.com/articles/2025-01-23