AI.x社區
- 登錄/注冊
阿里 C4：通信驅動加速大規模并行訓練效率
一、背景我們在之前的兩篇文章中詳細介紹了萬卡GPU集群中的網絡拓撲相關信息以及在萬卡GPU集群中進行大規模LLM訓練面對的挑戰和相應解決方案。最近又看到阿里團隊在相關領域的工作，本文中我們簡單對其進行總結。論文中很多基礎知識沒有展開介紹，強烈建議優先閱讀對應的兩篇文章：??萬卡GPU集群互聯：硬件配置和網絡設計????萬卡GPU集群實戰：探索LLM預訓練的挑戰??對應的論文為：[2406.04594]BoostingLargescaleParal...通信性能框架【LLM】AgentGym：具有自我演化能力的通用LLM agent
一、結論寫在前面論文來自復旦自然語言處理實驗室&復旦視覺與學習實驗室論文首次嘗試構建具有自我演化能力的通用LLM基礎agent。論文確定了三個關鍵要素：1）多樣化的環境供agent探索學習；2）一套軌跡集賦予agent基本能力和先驗知識；3）一種有效且可擴展的演化方法。論文提出了AGENTGYM框架，一個包含多樣化環境、任務和目標的交互平臺，專為LLM基礎agent設計。AGENTGYM通過HTTP服務提供便捷的API，標準化任務規范、環境設置以...AgentGymLLMDPO【LLM】對大語言模型微調優化的研究
一、結論寫在前面論文來自Microsoft。微調大語言模型是用戶嘗試將其適應特定應用的流行選擇。然而，微調這些模型是一項艱巨的任務，因為用戶必須考慮多種因素，如資源預算、運行時間、模型大小和上下文長度等。一個具體挑戰是微調過程對內存的需求很大，這限制了所需的硬件內存和能夠處理的訓練數據上下文長度。論文分享了針對不同微調場景的各種微調優化的詳細研究。特別是，論文評估了梯度檢查點（GradientCheckpointing）、...語言模型微調優化手機流暢運行470億大模型：上交大提出PowerInfer-2引領智能手機大模型推理新紀元
精華引言：智能手機上的大型語言模型推理的挑戰與機遇隨著大型語言模型（LLM）在理解和生成類似人類的文本方面的卓越能力，它們已經從根本上改善了我們的日常生活并轉變了我們的工作環境。如今最先進的LLM，例如GPT4和Claude3，都部署在配備了最先進GPU的數據中心中。這些GPU提供了廣泛的高帶寬內存，并提供達到數千teraflops的計算能力。與此同時，將LLM部署在普遍的智能手機上的趨勢也在興起，這一轉變旨在充分利用豐富的個人數據...模型PowerInfer-2智能手機快手「可靈」爆火：海外AI圈巨震，中國版Sora一號難求
短短一年后，AI生成的「吃面條」已經如此自然流暢？這讓全球網友都感受到了億點點震撼。圖源：https:x.comCharaspowerAIstatus1799494388462063632右側的這些生成視頻，都來自快手剛剛推出的文生視頻大模型「可靈」（Kling）。不是預發布、不是純Demo合集，而是直接開放測試的產品級應用，人人都能申請。而且，可靈支持生成最長2分鐘、30fps的1080P視頻，主打從頭腦風暴到可發布作品的「一鍵轉化」。（官網地址：https:kling.ku...AI生成視頻蘋果Siri將迎來AI時代最強“大修”！虛擬助手將幫助用戶操控每個APP，網友：我愿稱之為AGI
原創很瘋狂！彭博社消息，根據知情人士透露，蘋果公司計劃使用更先進的人工智能對其Siri虛擬助手進行全面改革！Siri將不再局限于目前單一任務的執行，而是可以允許用戶通過聲音交互控制每個應用程序的單個功能。看來，在隱私方面一向保守的蘋果，在數據安全與AI至上的天平中徘徊了許久，終于找到了平衡中的解決之道——新系統將首次允許Siri接管應用程序內的所有功能。這一革命性的變化需要使用LLM來重新設計Siri的基礎——這是生成...蘋果SiriAGIMLC-LLM: 具有ML編譯的通用LLM部署引擎
原創介紹我們正處在大型語言模型和生成式人工智能的時代，其應用場景有可能改變每個人的生活。開放式大型語言模型為提供定制化和領域特定部署帶來了重大機會。我們正處在一個激動人心的開放模型開發年份。一方面，我們看到了在（云）服務器部署方面取得的令人振奮的進展，這些解決方案可以為具有多個GPU的更大模型提供同時服務的能力。同時，我們也開始看到在設備本地部署方面取得了進展，能夠將性能強大的量化模型部署到筆記本電腦...MLCEngineMLC-LLMICML 2024：AI對齊與可變和可影響獎勵函數
"當前的AI對齊技術忽視了人類偏好價值觀可能會改變這一事實。如何才能考慮到這一點？??"人們的偏好會改變，甚至可能受到他們與AI系統的交互影響。為了研究這種情況，研究人員引入了動態獎勵馬爾可夫決策過程（DRMDPs），這些過程明確考慮了人類的獎勵反饋可能受到AI系統影響的方式。研究人員描述了靜態偏好假設如何削弱現有對齊技術的合理性，導致它們暗示性地獎勵AI系統操縱人類反饋（例如，影響用戶的認知狀態以增加獎勵）。...AI對齊技術Meta NLLB團隊：將神經機器翻譯擴展到200種語言，問鼎Nature！
原創神經技術的發展為機器翻譯的研究開辟了新的途徑。如今，神經機器翻譯（NMT）系統可以利用高度多語言能力，甚至進行零翻譯，提供了有希望的語言覆蓋和質量結果。然而，擴展高質量的NMT需要大量平行雙語數據，而這些數據對世界上7000多種語言并不平等地可用。將重點放在改進相對較少數量的高資源語言的翻譯質量上，將導致研究關注低資源語言的不足，從而加劇了數字不平等。為了打破這一模式，研究人員在這里介紹了NoLanguageLeftB...神經技術神經機器翻譯單細胞RNA測序數據的推斷：雙層特征傳播
原創??我們能否利用'基因基因'??和'細胞細胞'??關系來推斷單細胞RNA測序數據？??請查看在《BriefingsinBioinformatics》上發表的新論文，scBFP！該工作由KAIST、UNC和MIT合作完成。方法在scBFP中，研究人員采用如下的雙層特征傳播：對于基因基因，我們使用基因級特征傳播來利用觀察到的基因數值。對于細胞細胞，我們應用細胞級擴散來全局去噪觀察到的和推斷的數值。以上過程可以通過以下算法簡單說明。實驗結果通過使用推斷的細胞基...單細胞RNAClover - 通過閉環可驗證的代碼生成確保可信AI生成的代碼
原創盡管近年來大型語言模型（LLM）在代碼生成方面取得了驚人的成功，但這種由人工智能生成的代碼的可信性仍然是一個問題。為了解決這個問題，研究人員提出了Clover模式，即閉環可驗證代碼生成，通過檢查代碼、文檔字符串和注釋之間的一致性，強制執行AI生成的代碼的正確性。在軟件開發中，利用大型語言模型（LLM）進行代碼生成是一個快速發展的趨勢。然而，如果沒有有效的方法來確保AI生成的代碼的正確性，這一趨勢可能導致不可取...大型語言模型LLMCloverMRAG：一種多頭RAG，提升具有顯著不同內容的多個文檔復雜查詢的檢索準確性
現有的RAG方案沒有專注于需要檢索多個具有顯著不同內容的文檔的查詢，這類查詢經常出現，但挑戰在于這些文檔的嵌入可能在嵌入空間中距離很遠，難以全部檢索。因此，提出一種多頭檢索增強生成方法（MRAG：MultiHeadRAG），它的關鍵思想是利用Transformer解碼器的多頭注意力層的激活，而不僅僅是前饋層，來生成嵌入。不同的注意力頭可以捕獲數據的不同方面，因此使用這些激活產生的嵌入能更好地表示文檔和查詢的各個方面。MRAG使...RAG檢索MRAG如何不爬梯免費使用AI文生圖？
原創現在各種AI大模型大行其道，前有ChatGPT顛覆了我們對對話型AI的原有印象，后有Sora文生視頻，讓我們看到了利用AI進行創意創作的無限可能性。如今各大公司和團隊都爭相提出自己的大模型，各種網頁端和軟件應用也極大地降低了我們使用AI作為生產力的門檻。可惜很多要么需要翻墻爬梯子，要么需要付費買會員，要么生成的圖片不理想。那么有沒有不爬梯又比較好用的文生圖工具呢？"文生圖"是一個極具創新性的在線AI工具，它能夠根據用...AI大模型文生圖YOLO-NAS：開啟實時目標檢測新紀元
在當今人工智能的浪潮中，目標檢測技術已經廣泛應用于各個領域，從自動駕駛到安防監控，再到智能機器人，都離不開它的身影。而YOLO（YouOnlyLookOnce）算法，憑借其高準確性和實時性，在目標檢測領域獨領風騷。然而，隨著技術的不斷進步，人們對于檢測速度和準確性的要求也在不斷提高。在這樣的背景下，YOLONAS應運而生，它結合了神經架構搜索（NAS）技術，為實時目標檢測帶來了全新的突破。一、YOLONAS概述YOLONAS，全稱YouOnl...NAS應用場景機器人GPT4技術原理：大模型的幻覺，解鈴還須系鈴人
阿爾伯特·愛因斯坦曾經說過:像我們這樣相信物理學的人都知道，過去、現在和未來之間的區別只是一種頑固執著的幻覺。換句話說，時間是一種幻覺。筆者覺得，此種意義上說，光也是一種幻覺，你能看到可見光，卻對紅外光和紫外光“熟視無睹”。而這一切不過是同一種形式的波或者粒子。人類的幻覺人類的幻覺無處不在，無時不有。只是絕大多數情境下，你覺察不到而已，像紅紫外光。幻覺（Hallucination）是一種在沒有外部刺激的情況...GPT4模型物理學百萬上下文RAG，Agent還能這么玩
?QwenAgent的設計思路雖然與LangChain相似，但其發布幾個的Agent示例卻很有意思。今天本文將深入探討如何使用QwenAgent將上下文記憶擴展到百萬量級，讓Agent的智能得到更廣泛的應用。暴力關鍵字檢索優于向量方案在處理大規模文本數據時，一個關鍵的挑戰是如何快速準確地定位到最相關的信息塊。QwenAgent通過一種看似“暴力”的方法——,基于LLM判斷相關性AND基于關鍵字檢索，解決了這一難題。這種方法雖然簡單，但在實際操作中...RAGAgentAI精打細算用好 LLMs ：LLM 落地應用成本及響應延遲優化
原創 精華編者按：LLMs被視為AI領域的一個里程碑式的突破，但要將其應用于實際生產環境，并且還能用對、用好并非易事。模型的使用成本和響應延遲是目前將大語言模型（LLMs）應用于生產環境中的核心難題之一。在本期刊載的這篇文章中，作者從自身項目的實踐經驗出發，分享了一系列實用技巧，幫助優化LLMPrompt，能夠一定程度上降低大模型的使用成本和響應延遲。文章首先解析了導致高成本和高延遲的根源在于輸入輸出tokens的數量，而非任務...LLMAI白海科技像俄羅斯方塊一樣生成視頻！ 北大聯合快手AI團隊推出新框架VideoTetris實現跟隨復雜指令的文生視頻！
Paper:??https:arxiv.orgabs2406.04277??Code:??https:github.comYangLing0818VideoTetris??Project:??https:videotetris.github.io???擴散模型在文本到視頻（T2V）生成方面取得了巨大成功，視頻生成模型正以飛快的速度發展。然而，現有的文生視頻模型在應對復雜、細節豐富、多物體的指令時，仍存在一定的挑戰。為了生成更精確的復雜視頻，北京大學與快手AI團隊推出了VideoTetris，定義了復雜組合指令生成任務，并...AI框架訓練大模型自動在RAG和記憶間選擇
原創本文介紹AdaptLLM技術是如何動態確定是否需要檢索額外的上下文信息，以避免不必要的外部檢索，進而提高LLM應用的效率。現如今，檢索增強生成(Retrievalaugmentedgeneration，RAG)管道已經能夠使得大語言模型(LargeLanguageModels，LLM)在其響應環節中，充分利用外部的信息源了。不過，由于RAG應用會針對發送給LLM的每個請求，都去檢索外部信息，而LLM實際上已經包含了大量無需檢索即可使用的知識，因此整個過程反而顯得效率低下...大模型Adapt-LLM技術自適應檢索谷歌開源TimesFM：1000億個時間點訓練，入選ICML 2024
今年2月，GoogleResearch的研究人員提出了一個時序預測基礎模型TimesFM，在1000億個「真實世界時間點」上進行預訓練，僅僅用200M的參數規模就展現出了超強的零樣本學習能力。論文鏈接：??https:arxiv.orgpdf2310.10688.pdf??當時權重還沒有發布，就已經有人在Reddit社區中表達了難以克制的興奮。5月8日，這篇研究又掀起了一陣波瀾。官方博客宣布這篇文章被ICML2024接收，而且在GitHub和HuggingFace上公開了源代碼和模型權重...谷歌開源
