AI.x社區
- 登錄/注冊
OpenAI開源多智能體編排框架Swarm！
原創編輯星璇出品51CTO技術棧（微信號：blog51cto）OpenAI終于又Open了一回！這次開源的對象，竟然輪到了多智能體框架！圖片Swarm開源后，X上立馬引來開發者的的討論，有網友表示這能幫助簡化許多潛在的多智能體用例的工作流程。圖片下面我們就來簡單介紹一下這個開源項目。一、Swarm是什么？據github文當介紹，Swarm是一個實驗性質的多智能體框架，并不是為生產目的開發的，因此團隊表示不會提供任何官方支持。其中，Swarm關注的重...OpenAI開源多智能發布會上特斯拉Optimus竟是人扮演的？時薪高達48美元！馬斯克人形機器人的預言會想星艦一樣成功嗎？
原創編輯伊風出品51CTO技術棧（微信號：blog51cto）史上最短發布會結束后，馬斯克一夜搞沒了4700億人民幣（670億美元）！圖片大家紛紛奇怪：怎么了，馬斯克畫的餅難道不香了？這邊，外媒又甩出來一個驚天大瓜：發布會上的特斯拉機器人Optimus居然是人扮的！更準確的說——是有工作人員在不遠處戴著VR設備，遠程進行操控的。就像特斯拉曝光的訓練場景一樣，大家都躲在不遠處的一個小屋里回應著參會者，堪稱AI時代版的柜員機里有柜員...Optimus馬斯克人形機器人開源大模型如何治理？斯坦福基礎模型研究中心給您支招
原創 精華人工智能領域正經歷著范式轉變，基礎模型（如GPT4、LLAMA2）處于核心位置，驅動著技術創新和大量投資。這引發了對其監管的廣泛需求。而在關于如何監管基礎模型的討論中，模型的發布過程至關重要。近日，由斯坦福大學基礎模型研究中心主任PercyLiang領導的論文《ConsiderationsforGoverningOpenFoundationModels》發表在Science，對開源大模型治理與監管進行了深入探討，今天我們就一起學習一下這篇重要論文吧！一、基礎模型的發...開源大模型Top-k Accuracy：模型優化策略不一定徒勞無功
原創構建模型通常是一個迭代過程，給定數據集：訓練模型評估模型改進，直到滿意為止你的改進策略不一定徒勞無功！如何評估模型是否進步了呢？通常會使用某些性能指標來評估改進策略的有效性。然而，在多分類問題中，當使用“Accuracy”指標評估改進策略有效性時，通常帶有欺騙性。換句話，某些改進策略其實已經提升模型性能了，但通過“Accuracy”這個指標沒有反映出來。“Accuracy”陷阱這里的“Accuracy”其實應該是“Top1Accurac...模型構建模型評估模型Entropix，終于找到了真正解決幻覺的方法了
最近，神秘大佬開源一個框架entropix,2周不到收獲2.4kstar。Entropix的核心思想是通過量化模型的不確定性，來做出更多的“思考”，從而獲得更好的效果。當大模型在預測下一個詞時，模型會為每個詞分配一個可能的概率。如果模型特別篤定的那個token的概率都很低，也就是不確定性很高的時候，熵越高。很多時候，想減少模型的幻覺時，可能會將模型的采樣超參數如temperature設為0。但是這樣做并不一定能提高模型不產生幻覺輸出的概...entropix模擬幻覺VideoLLaMB：創新開源框架，引領多模態長視頻理解
隨著互聯網技術的發展和智能設備的普及，視頻內容正以前所未有的速度增長。長視頻，尤其是那些包含豐富信息和復雜場景的視頻，對于理解人類行為、環境變化以及時間序列事件具有重要價值。然而，隨著視頻長度的增加，如何有效地處理和理解這些視頻內容，成為了人工智能領域中的一個挑戰。視頻內容的挑戰傳統的視頻理解模型通常專注于短視頻片段，這些片段由于時間跨度小，因此容易處理和分析。但對于長視頻，尤其是那些時長可達...VideoLLaMB開源框架RAG系統的四層天梯：大模型RAG系統的成長之路
精華第一章：為什么要給大模型喂"額外營養"？想象一下，你有一個超級智能的AI助手，它幾乎無所不知。但當你問它"今天的股市行情如何？"或者"最新的新冠病毒變種有哪些癥狀？"，它卻一臉茫然。這就是大語言模型（LLM）的現狀知識廣博但不夠新鮮。這就是為什么我們需要給LLM喂點"額外營養"，也就是外部數據。這個過程，專業點說叫"檢索增強生成"（RAG）。首先，讓我們聊聊為什么要這么做：1.1讓AI變得更"專業"LLM雖然懂得多，但在專業...RAG系統模型卷不動了？Agentic的4種設計模式直接上手！
嘿，大家好！這里是一個專注于AI智能體的頻道小長假結束了，今天給家人們分享一下假期開源的一個Agent設計模式圖，圖畫的很漂亮。熱度蠻高的，然后還有大佬開源了配套的tutorialgithub項目。Agentic設計模式常見的有4種基于reflection的，純粹的對結果反思，無外部交互。這是一個非常基礎的模式，盡管很簡單，但卻可以為結果帶來挺大的提升。與工具交互，并對交互結果進行推理。LLM中存儲的信息通常不足以準確、有見地地回答問...Agentic模式設計Phi-3-Vision-128K大模型，AI助力OCR，文檔處理更上一層樓
1Phi3Vision128KInstruct簡介Phi3Vision128KInstruct屬于Phi3模型家族，專為多模態數據處理而構建，支持長達128,000個令牌的上下文長度。該模型融合了文本和視覺數據，非常適合需要同時解釋文本和圖像的任務。其開發涉及5000億個訓練令牌，包括高質量的合成數據和經過嚴格篩選的公開可用資源。此外，通過監督微調和偏好優化等精細訓練手段，Phi3Vision128KInstruct被打造成能夠提供精確、可靠且安全的人工智能解決方案。Phi3Vis...AIOCR模型個人關于人工智能技術學習的心得與方法，還有一些常用的網站
原創“學習大模型技術是有方法的，千萬不要只知道埋頭工作”學習人工智能技術也有一段時間了，雖然說也算不上什么成果，但對人工智能技術也算有了一個初步的認識，以及一些個人的學習過程與心得。而今天就來簡單介紹一下個人學習人工智能技術的一些書籍，網站和心得；因為人工智能技術有不同的實現方式，所以今天所說的人工智能特指大模型技術。大模型技術學習先來思考一個問題，應該怎么學習大模型技術？首先從個人的經驗來說，學...人工智能NiFi ：1 初識這把“十年一劍”的利器
“現在AI和數據處理密不可分，80%的企業可以利用ApacheNiFi輕松解決復雜的數據問題，快速完成場景建設。猶如花上百來塊錢在家享受一頓不亞于五星級西餐廳的法式大餐。對于全棧式的數據分析師或者數據應用的Java研發工程師，NiFi讓其擺脫復雜的數據工程，而是將精力放在分析和應用的創新之上。而NiFi的GUI也著實令人賞心悅目！”1.ApacheNiFi說到數據平臺，很多人的第一反應要么是ETLELT，要么是Spark或Hadoop，要么是Flink，要...NiFiETL/ELT技術從OmniGen的數據、模型設計與訓練策略中深度了解多模態統一生成模型
原創?從OmniGen的訓練數據、模型設計與訓練策略中深度了解多模態統一生成模型。今天詳細講講多模態大模型OmniGen之前有總結過一篇多模態大模型的研究趨勢，感興趣的小伙伴也可以具體看一下這篇介紹多模態大模型的文。?OmniGen就屬于統一視覺模型這個方向中，將多個特定任務轉化為具備通用能力的圖像生成統一模型；本篇來具體介紹OmniGen的細節，以及未來前瞻技術研究可能值得借鑒的部分。下面是一個快捷目錄。一、OmniGen簡介二、...多模態多模態統一生成模大模型微調方法之QLoRA
原創?本文介紹大模型微調方法中的QLoRA。QLoRA由華盛頓大學UWNLP小組的成員于2023年提出發，旨在進一步降低微調大模型的微調成本，因為對于上百億參數量的模型，LoRA微調的成本還是很高。感興趣的小伙伴可以去閱讀一下原文：https:arxiv.orgpdf2305.14314模型介紹上圖為QLoRA的訓練過程圖，QLoRA更多的是在工程上進行了量化和優化，從圖中可知，主要有4個部分的改進：QLORA：是一種優化的4bit量化數據類型，專為正態分布權重設計，...大模型面試干貨RAG工程如何評測？
原創?本篇主要講RAG工程的評測方法。本篇屬于RAG系列，上一篇整理了RAG的基礎，沒看過的小伙伴也可以參考本篇來繼續介紹RAG工程如何評測。下面是一個快捷目錄。一、RAG評估方法二、RAG的關鍵指標和能力三、RAG的評估框架一、RAG評估方法有兩種方法評估RAG：獨立評估和端到端1.獨立評估獨立評估就是對檢索模塊和生成模型分布評估。1）檢索模塊評估RAG檢索模塊性能的指標主要用于衡量系統（如搜索引擎、推薦系統或信息檢索系統），即...RAG面試干貨LLM實踐系列-詳談Tokenizer訓練細節
經過了數據收集、篩選、去重，馬上就可以開始訓練實驗了。但是在實驗之前，我們還需要先獲取一個語言模型的基石：分詞器（Tokenizer）。Tokenizer的作用是對一條文本數據進行切分、詞表映射，得到這條文本的token序列。用開源Tokenizer還是自己訓練Tokenizer可以自己訓練，也可以從目前開源的模型中扒一個來用，用開源Tokenizer有幾個點需要著重關注：壓縮率：壓縮率決定了文本向量化后的長度，壓縮率越高，向量后數據越短，訓...tokenLLM模型視頻生成和具身智能強強聯合！谷歌&卡內基梅隆&斯坦福發布Gen2Act：泛化超棒！
文章鏈接：https:arxiv.orgpdf2409.16283項目鏈接：https:homangab.github.iogen2act亮點直擊人類視頻生成引導機器人操作：通過生成零樣本的人類視頻并翻譯成機器人執行策略，避免了直接生成機器人視頻的復雜性，利用豐富的網絡視頻數據來提升泛化能力。現成模型與閉環策略結合：不需微調視頻生成模型，直接使用現成模型生成視頻，并通過結合機器人觀察歷史與點軌跡優化，確保策略能夠動態調整，提升操作準確性。強大的泛化能力...視頻生成如何使用NotebookLM制作YouTube視頻學習指南？
原創NotebookLM使用AI來總結和組織要點，可以輕松地用YouTube視頻創建學習指南。只需上傳視頻鏈接，這個工具就可以幫助你將內容轉換成結構化指南。用YouTube視頻制作學習指南可能很花時間，但是NotebookLM簡化了這項任務。NotebookLM是一個幫助你做筆記和總結的工具。它使用AI為你節省時間和精力，只需要幾個步驟就可以把視頻變成學習指南。這對學生或在線教學的人大有幫助。你可以用視頻創建筆記、摘要和問題。在本文中，你將學習...NotebookLMAIYouTube視頻制作DeepSeek LLM: 通過長期主義擴展開源語言模型
精華?摘要：開源大型語言模型（LLMs）的快速發展確實令人矚目。然而，先前文獻中描述的擴展規律呈現出不同的結論，這為擴展LLMs蒙上了一層陰影。我們深入研究了擴展規律，并提出了我們獨特的發現，這有助于在兩種普遍使用的開源配置中擴展大規模模型，即7B和67B。在擴展規律的指導下，我們介紹了DeepSeekLLM，這是一個致力于從長遠角度推進開源語言模型的項目。為了支持預訓練階段，我們已經開發了一個目前由2萬億個token組成的數...大模型ChatGLM: 從GLM-130B到GLM-4的系列大型語言模型
原創?摘要：我們介紹了ChatGLM，這是我們持續開發的大規模語言模型家族。本報告主要聚焦于GLM4系列語言模型，包括GLM4、GLM4Air和GLM49B。它們是我們最強大的模型，集成了前三代ChatGLM的所有經驗和教訓。迄今為止，GLM4模型在中文和英文的十萬億個標注符號上進行了預訓練，并輔以來自24種語言的小型語料庫，主要為中英文使用進行了對齊。高質量的對齊通過多階段后訓練過程實現，包括監督微調和從人類反饋中學習。評估表明，GLM4在...ChatGLM大型語言模型SELF-REFINE: 通過自反饋進行迭代優化
原創摘要：與人類類似，大型語言模型（LLMs）并不總是在第一次嘗試時生成最佳輸出。受人類改進書面文本方式的啟發，我們提出了SELFREFINE，這是一種通過迭代反饋和優化來改進LLMs初始輸出的方法。主要思想是首先使用LLM生成初始輸出；然后，由同一個LLM對其輸出提供反饋，并使用該反饋對其進行自我優化。SELFREFINE不需要任何監督訓練數據、額外的訓練或強化學習，而是使用單一的LLM作為生成器、優化器和反饋提供者。我們在7項不同...大型語言模型LLMs
