LlamaIndex是一個專注于檢索增強生成(RAG)的工具，可以協助您豐富大模型的數據提示。本文將用實例向您展示和介紹。眾所周知，GPT（GeneralPretrainedTransformer）為我們描述了一套通過各種矩陣乘法，實現輸入、轉換和輸出的循環。其中的單詞（實際上是文本、聲音或圖像的令牌）會被轉換為具有足夠維度的矢量，從而表達內在意義。如下圖所示，為了確保被傳入的上下文是可以計算的，我們需要注意其臨近的動詞，并通過更多的矩陣...

RoboAgent能夠高效地獲取各種復雜技能，并將其推廣到多樣化的未知場景中RoboAgent是作者多個前期工作的集成，包括GenAug、CACTI、ACT，同時也是未來許多更多研究方向的起點。相比于以往的工作，例如Google的RT1，以及更新的RT2，RoboAgent研究了與大型語言模型相關的大型演示數據集的機器人學習泛化問題。與此不同的是，RoboCat使用了一個迭代學習和數據泛化管道以進行快速適應。最近的研究也表明，使用動作分塊或擴散模型等更...

將在仿真中學到的策略轉移到現實世界是一種獲取大規模機器人技能的有前景的策略。然而，從仿真到現實的方法通常依賴于任務獎勵函數和仿真物理參數的手工設計和調整，使得該過程緩慢且需要大量人力。研究人員使用大型語言模型（LLMs）來自動化和加速從仿真到現實的設計。LLM引導的從仿真到現實方法僅需要目標任務的物理仿真，并自動構建適當的獎勵函數和域隨機化分布以支持現實世界的轉移。研究人員首先證明了可以發現與現有人工...

現有的大多數強化學習理論無法解釋實際強化學習算法何時或為何有效：理論家分析不同的算法并做出在真實環境中不一定成立的假設。這使得將理論洞察力應用于實踐變得困難或不可能。為了找到在常見環境中成立的假設，研究人員構建了一個名為BRIDGE的數據集，包含來自Atari和Procgen等基準測試中155個確定性MDP完整的表格表示，其中一些MDP具有1000萬個以上的狀態！研究人員發現超過23的MDP具有一個令人驚訝的屬性：在隨機策略下具...

多層感知機（MLPs）是如此基礎，但是否有替代方案？MLP在神經元上放置激活函數，但我們是否可以將可學習的激活函數放置在權重上？是的，我們可以！近日，MIT學者提出科爾莫哥羅夫阿諾德網絡（KAN），比MLP更準確且更易解釋。MLPs如今是深度學習架構的基石。是否存在替代路線模型？研究人員考慮對MLPs進行一個簡單的改變：將激活函數從節點（神經元）移到邊緣（權重）！這個改變似乎毫無來由，但它與數學中的逼近理論有著相當深...

在最近的一份報道中，Meta的AI圖像生成器被揭示出存在嚴重的種族偏見問題，特別是在嘗試生成展示亞洲人與白人同框的圖像時表現出明顯的缺陷。這一問題不僅僅是技術層面的失敗，更觸動了社會倫理和AI公正性的核心議題。Meta的圖像生成器在多個測試中顯示出無法根據用戶的指令準確生成涉及不同種族人物的圖像。在嘗試生成“亞洲男性和白人妻子”、“亞洲女性和白人丈夫”等場景時，結果多數偏離了用戶的具體要求，反而生成了同種...

就在最近，清華大學SuperBench團隊的新一輪全球大模型評測結果出爐了！此次測評，還增加了Llama38b和Llama370b兩個最近炙手可熱的模型。在語義理解、智能體能力、代碼能力三個測評中，我們發現：Claude3拿下兩個top1，穩穩位于前三之列。Claude3果然實強。技術報告曝出：Claude3靠合成數據在技術報告中，大家發現了Claude3的亮點——它是在合成數據上訓練的。鑒于大模型的參數數量和數據都是可以縮放的，所以以后計算就是瓶頸了...

出品51CTO技術棧（微信號：blog51cto）開發者們為OpenAI最新的大型語言模型GPT4找到了許多不平凡的用途。在最近的HackerNews討論中，開發者們分享了他們是如何使用這種大型語言模型（LLM）的。我們在此整理了一些最佳建議，并附上了ChatGPT本身關于開發者應如何使用它的額外建議。1.SQL查詢有一位發帖者表示自己在編寫包含多個連接的SQL查詢方面不太擅長。因此，這位編碼員只是向機器人展示了表定義，并告訴它自己的需求。發帖...

Meta最近開源的Llama3模型再次證明了「數據」是提升性能的關鍵，但現狀是，開源的大模型有一堆，可開源的大規模數據卻沒多少，而收集、清洗數據又是一項極其費時費力的工作，也導致了大模型預訓練技術仍然掌握在少數高端機構的手中。最近，Huggingface的機器學習團隊宣布開源了一個迄今為止，規模最大的、質量最高的、即用型（readytouse）數據集FineWeb數據集鏈接：??https:huggingface.codatasetsHuggingFaceFWfineweb??F...

一種全新的神經網絡架構KAN，誕生了！?與傳統的MLP架構截然不同，且能用更少的參數在數學、物理問題上取得更高精度。比如，200個參數的KANs，就能復現DeepMind用30萬參數的MLPs發現數學定理研究。不僅準確性更高，并且還發現了新的公式。要知道后者可是登上Nature封面的研究啊在函數擬合、偏微分方程求解，甚至處理凝聚態物理方面的任務都比MLP效果要好。而在大模型問題的解決上，KAN天然就能規避掉災難性遺忘問題，并且注入人...

一支人大系大模型團隊，前后與OpenAI進行了三次大撞車！第一次是與Clip，第二次是與GPT4V，最新一次撞在了Sora上：去年5月，他們聯合并聯合伯克利、港大等單位于在arXiv上發表了關于VDT的論文。那時候，該團隊就在在技術架構上提出并采用了DiffusionTransformer。并且，VDT還在模型中引入統一的時空掩碼建模。這個團隊，正由中國人民大學高瓴人工智能學院教授盧志武帶隊。Sora問世已經兩個多月，現在這支國產團隊在視頻生成領域...

奧特曼斯坦福爆火演講，完整版錄像公開了！這還只是第一站，在哈佛和MIT再次發現了他的身影。特別是在哈佛，他還變相承認了神秘gpt2chatbot確實與OpenAI有關，但不是GPT4.5。事實上，我們可以同時在所有模型的行為和功能上取得進展，我認為這是個奇跡。他還提到“每個大學生都應該學會訓練GPT2……這并不是最重要的事情，但我打賭兩年后這是每個哈佛新生都必須做的事情”。難不成，就真的是GPT21.5BPlusProMaxQ威力加強年度典藏...

萬萬沒想到，與任務無直接關聯的多模態數據也能提升Transformer模型性能。比如訓練一個圖像分類模型，除了標注好類別的圖像數據集，增加視頻、音頻、點云等模態數據，也能顯著提升模型在圖像分類上的性能。這樣一來，在AI訓練階段就可以減少與特定任務直接相關的標注數據需求，可以節省大量成本，或在數據有限的任務上提供新解決思路。這個神奇的發現來自港中文MMLab和騰訊AILab的合作研究，相關論文已被CVPR2024接收，引起廣泛...

AI做數學題，真正的思考居然是暗中“心算”的？紐約大學團隊新研究發現，即使不讓AI寫步驟，全用無意義的“……”代替，在一些復雜任務上的表現也能大幅提升！一作JacabPfau表示：只要花費算力生成額外token就能帶來優勢，具體選擇了什么token無關緊要。舉例來說，讓Llama34M回答一個簡單問題：自然常數e的前6位數字中，有幾個大于5的？AI直接回答約等于瞎搗亂，只統計前6位數字居然統計出7個來。讓AI把驗證每一數字的步驟寫出...

原文鏈接：https:arxiv.orgabs2403.20018項目鏈接：https:github.comWUCVGLSCINeRF論文標題：SCINeRF:NeuralRadianceFieldsfromaSnapshotCompressiveImage?一、引言傳統的3D重建算法需要不同視角拍攝的多張圖片作為輸入從而重建出3D場景。近年來，有相當多的工作嘗試從單張圖片構建3D場景。然而，絕大多數此類工作都依賴生成式模型（如StableDiffusion），換句話說，此類工作仍然需要通過預訓練的生成式模型推理場景中的3D信息...

多層感知器（MLP），也被稱為全連接前饋神經網絡，是當今深度學習模型的基礎構建塊。MLP的重要性無論怎樣強調都不為過，因為它們是機器學習中用于逼近非線性函數的默認方法。然而，MLP是否就是我們能夠構建的最佳非線性回歸器呢？盡管MLP被廣泛使用，但它們存在明顯的缺陷。例如，在Transformer模型中，MLP幾乎消耗了所有非嵌入式參數，并且通常在沒有后處理分析工具的情況下，相對于注意力層來說，它們的可解釋性較差。所以，...

語言建模領域的最新進展在于在極大規模的網絡文本語料庫上預訓練高參數化的神經網絡。在實踐中，使用這樣的模型進行訓練和推斷可能會成本高昂，這促使人們使用較小的替代模型。然而，已經觀察到較小的模型可能會出現飽和現象，表現為在訓練的某個高級階段性能下降并趨于穩定。最近的一篇論文發現，這種飽和現象可以通過較小模型的隱藏維度與目標上下文概率分布的高秩之間的不匹配來解釋。這種不匹配通過著名的softmax瓶頸現象影...

本文將詳細介紹一個LLM驅動型應用程序的成本節約架構FrugalGPT。大型語言模型為計算機科學開辟了一個新的前沿；然而，它們（截至2024年）的運營成本遠遠高于計算機科學中的其他任何產品。對于希望將運營成本降至最低的公司來說，這是一個嚴重的問題。論文《FrugalGPT：如何在降低成本和提高性能的同時使用大型語言模型》（https:arxiv.orgabs2305.05176）介紹了一種在保持質量的同時顯著降低運營成本的框架。如何衡量LLM的成本...

就在昨夜，一個名為「gpt2chatbot」的模型殺出重圍，讓所有人都瘋狂了！在LLM競技場chat.lmsys.org上，這個神秘模型展現出了莫名強大的能力，甚至直接超越GPT4，實在令人震驚。它的自述顯示：「我是基于OpenAI的GPT4架構的語言模型，版本日期截至2023年11月」它的真正身份是誰？是誰做出來的？目前無人知曉。大家紛紛展開猜測：這要么是一個新的開源模型，要么就是OpenAI的GPT4.5？面對激動討論著的網友們，SamAltman也很合時宜...

本工作旨在減少大型語言模型（LLMs）的端到端生成延遲。高生成延遲的主要原因之一是幾乎所有最先進的LLMs都采用了順序解碼方法。在這項工作中，受到人類思考和寫作過程的啟發，研究人員提出了思維框架（SoT），它首先指導LLMs生成答案的骨架，然后進行并行API調用或批處理解碼以并行完成每個骨架點的內容。SoT不僅可以顯著加速12個LLMs的速度，而且還可以潛在地提高幾個問題類別的答案質量。SoT是對推理效率進行數據中心優化的...