AI.x社區
- 登錄/注冊
INTELLECT-1：全球首個去中心化訓練的 10B 參數大模型
近日，PrimeIntellect團隊發布了全球首個由全球協作訓練的10B參數語言模型——INTELLECT1。這一突破性成果不僅標志著大規模模型訓練不再局限于大型企業，而是可以通過分布式、社區驅動的方式實現，為未來的AI發展開辟了新的道路。項目亮點INTELLECT1的成功訓練涉及五大洲、五個國家，同時使用了112臺H100GPU，由全球30位貢獻者共同完成。這一壯舉不僅展示了分布式訓練的巨大潛力，還實現了高計算利用率：在美國境內達到96%，跨...中心化參數語言模型去噪步數減少50%，圖像生成質量反而更好！西湖大學等提出TPDM：自適應噪聲調度
文章鏈接：https:arxiv.orgpdf2412.01243亮點直擊提出了時間預測擴散模型（TPDM），該模型可以在推理過程中自適應地調整噪聲調度，實現圖像質量和模型效率之間的平衡。為了訓練TPDM，通過強化學習最大化圖像質量，并根據去噪步驟數折扣，直接優化最終的性能和效率。模型在多個評估基準上表現優越，在減少推理步數的同時取得了更好的結果。總覽全文擴散模型和流模型在文本到圖像生成等多種應用中取得了顯著成功。然而，這些模型...模型AI參數高效微調-Prefix Tuning、Adapter Tuning、LoRA
原創回顧一下三種參數高效微調方法PrefixTuning、AdapterTuning、LoRAPrefixTuningPrefixTuning在prefixtuning之前的工作主要是人工設計離散的template或者自動化搜索離散template，問題在于最終的性能對人工設計的template的特別敏感：加一個詞或者少一個詞，或者變動位置，都會造成很大的變化，所以這種離散化的token的搜索出來的結果可能并不是最優的。PrefixTuning方法使用連續的virtualtokenembedding來代替離散的token，且與F...LLMaiops第一名方案-EasyRAG：自動網絡運營的高效檢索增強生成框架
原創來看一個RAG比賽方案，提出了一個名為EasyRAG的框架，用于自動化網絡操作的檢索增強生成。該框架旨在解決網絡操作中信息檢索和生成效率低、準確性差的問題。研究難點包括：如何在保證準確性的前提下提高檢索和生成的效率；如何實現簡單快速的部署；如何在推理過程中顯著減少延遲。比賽地址：competition.aiopschallenge.com方法整體包含兩部分，數據處理工作流和RAG工作流EasyRAG框架數據處理工作流1.數據處理與文本分割對原始...RAG自然語言處理低資源場景下Text2SQL方法
原創SFT的text2sql方法SFT使模型能夠遵循輸入指令并根據預定義模板進行思考和響應。如上圖，、和是用于通知模型在推理過程中響應角色的角色標簽。后面的內容表示模型需要遵循的指令，而后面的內容傳達了當前用戶對模型的需求。后面的內容代表模型的預期輸出，也可以定義為模型預測的標簽。在監督微調期間，模型根據和中的內容預測后面的內容，然后將其與標簽進行比較以計算損失函數。標記作為結束標記，以防止模型在后續推理階段偏...Text2SQL本地部署Qwen2.5-Coder大模型，打造你的專屬編程助手
原創學習本地部署Qwen2.5Coder，提升編程效率。Qwen2.5Coder的推出，標志著智能代碼語言模型進入了新的時代。這款模型具有高效性能和實用價值，不僅能夠深入理解復雜的代碼結構，還能提供精確的代碼補全和錯誤檢測，極大提升開發效率。本文詳細介紹如何在本地系統上部署Qwen2.5Coder，以及其與Ollama的集成方案，希望為開發者帶來更流暢的開發體驗。1、Qwen2.5Coder架構概覽Qwen2.5Coder的架構是在前代模型的基礎上發展而來，在提升...Qwen2.5-Coder大模型LangChain生態全解析， LangGraph、LangFlow、LangSmith
原創隨著GPT3、GPT4等基于變換器模型的強大語言模型的流行，對于簡化語言應用開發和管理的框架需求不斷上升。這些框架能夠簡化串聯提示、檢索文檔和監控模型表現等復雜操作。LangChain生態工具之間存在差異，有的提供可視化界面以管理工作流，有的則強調高級調試和可觀測性。1、LangGraph：構建可視化工作流LangGraph是為視覺化構建語言模型流程設計的新型框架，適合喜歡圖形界面管理復雜工作流的開發者。它通過圖形化展示幫助理解...LangGraphLangChainLangFlow大模型利用Milvus向量數據庫，帶你實現GraphRAG
原創教你如何結合Milvus向量數據庫實現GraphRAG技術。GraphRAG技術借助知識圖譜，給RAG應用注入了新的動力，使其能夠在海量數據中精確檢索所需信息。本文將帶你了解GraphRAG的實現方法，包括如何創建索引以及如何利用Milvus向量數據庫進行查詢，助你在信息檢索的道路上事半功倍。1、先決條件在運行本文中的代碼之前，請確保已安裝以下依賴項：pipinstallupgradepymilvuspipinstallgit+https:github.comzc277584121graphrag.git注意...GraphRAG向量數據庫Milvus我們能完全解決GAN中的模式崩潰問題嗎？
原創模式崩潰會導致生成對抗網絡（GAN）產生重復輸出。盡管有一些解決方案，但并沒有一種能夠完全解決這個問題的方法。那么，研究人員將如何解決這個問題？事實上，生成式對抗網絡（GAN）是人工智能領域中令人矚目的應用之一。GAN風靡全球，憑借生成逼真的圖像、深度偽造（Deepfake）視頻、人工智能生成的藝術作品，甚至合成的生物數據，其能力讓人們驚嘆不已。但是GAN也有不為人知的秘密，這是工程師、人工智能愛好者和研究人員多...生成式對抗網絡GAN人工智能預測未來模型能力！微調揭示LLM涌現能力的關鍵
原創預測未來模型能力！微調揭示LLM涌現能力的關鍵在加州大學伯克利分校的智慧殿堂中，一群天才研究者們正試圖解開現代大型語言模型（LLM）擴展中的一個根本性難題：涌現能力的不可預測性。想象一下，你正在訓練一個語言模型，它的預訓練損失隨著計算量的增加而可預測地下降，就像一個乖巧的學生按部就班地學習。但當涉及到下游任務時，情況就變得復雜了——有時模型會在某個看似隨機的點上突然“開竅”，這種“涌現”現象讓預測未...微調LLM高效抽取PDF文件打造RAG，從LlamaParse轉向PymuPDF4llm
原創PymuPDF4llm：大型語言模型的高效PDF數據處理利器。PymuPDF4llm是專為大型語言模型設計的強大工具，能夠將雜亂的PDF數據整理得井井有條，為你的AI項目提供有力支持。本文將帶你深入了解PymuPDF4llm的功能和應用。1、從LamaParse到Pymupdf4llm過去，我們經常遇到PDF提取工具操作復雜、結果不準確的問題。LamaParse曾試圖簡化這一過程，但其免費資源消耗速度極快。現在，Pymupdf4llm作為一個開源工具，免費且專為大型語言模型定制...PymuPDF4llm大模型多模態RAG利器，帶你跑通Qwen2-VL-7B-Instruct大模型
原創詳解Qwen2VL7BInstruct模型，玩轉多模態RAG。想要玩轉人工智能，特別是多模態數據處理，Qwen2VL7BInstruct模型絕對是個得力助手。今天帶你詳細了解這個模型，并教你如何將其用在多模態RAG系統里，讓信息檢索和生成變得更加高效、準確。1、Qwen2VL7BInstruct：多模態AI的新高度Qwen2VL7BInstruct是一款先進的多模態AI模型，它在圖像和視頻的視覺理解與交互方面實現了重大突破。基于前代模型的優化，Qwen2VL7BInstruct增添了多項...RAG多模態RAG大模型使用Llama 3.2-Vision大模型，搭建本地Ollama OCR應用
原創用Python和Ollama的Llama3.2Vision模型搭建自己的OCR應用。?光學字符識別技術，簡稱OCR，目前是數字化印刷文本和提取圖像信息的核心手段，其重要性正日益凸顯。如今，有了AI的加持，尤其是像Llama3.2Vision這樣的模型，OCR變得更加強大。本文教會大家用Python和Ollama的Llama3.2Vision模型，一步步搭建起自己的OCR應用。先決條件在開始之前，先確保已準備好以下條件：一臺安裝了Windows、macOS或Linux的電腦。穩定的互聯網連接...LlamaOllama OCR大模型阿里巴巴研究院推出 XiYan-SQL：用于Text-to-SQL的多生成器集成人工智能框架
原創01、概述隨著人工智能技術的迅速發展，如何讓普通用戶輕松查詢復雜數據庫成為一個備受關注的課題。最近，阿里巴巴研究院推出了一項突破性技術——XiYanSQL，它為自然語言到SQL（NL2SQL）的任務提供了全新解決方案。這項技術不僅提升了查詢的精確度，還實現了跨數據庫的高適配性，為大數據時代的信息挖掘帶來了新契機。02、什么是NL2SQL？NL2SQL是一種自然語言處理（NLP）技術，可以將人類的自然語言查詢轉化為結構化查詢語言（S...XiYan-SQL人工智能框架Fireworks AI 發布 f1：在硬編碼、聊天和數學基準方面超過 GPT-4o 和 Claude 3.5 Sonnet
原創01、概述人工智能（AI）正在以前所未有的速度發展，但在面對復雜推理時，依然存在諸多挑戰。即便是像GPT4和Claude3.5Sonnet這樣的先進模型，依然在復雜編碼、深度對話和數學推理等任務上存在局限性。單一模型的“盲點”和不足暴露了當前技術的瓶頸，而市場對于專用AI模型的需求卻在日益增長。如何有效整合多個專業化模型，打破技術壁壘，成為AI發展的關鍵議題。在這一背景下，FireworksAI推出了全新的復合AI模型——f1，為復雜...Fireworks AI大語言模型本地知識庫優化，讓 AI 回答更精準
大家在使用百度和谷歌搜索引擎的時候，搜索出來的內容第一頁都是強相關的（廣告不算），越往后內容可能越偏離。這是因為搜索引擎會根據相似度&相關度進行綜合排列后，按照從高到低的順序進行返回，這就會導致越靠后就離搜索內容越偏移。而由于文字是有多種類型，并且擁有成千上萬種組合方式，因此在轉成向量進行相似度匹配時，很難保障其精確性。在向量方案構建的知識庫中，通常使用topk召回的方式，也就是查找前k個最相似的內...知識庫優化AI顛覆性語音合成：Fish Agent v0.1 3B 引領多語言語音合成新高度
原創01、概述在當今的AI語音合成領域中，多語言處理、自然語音輸出和實時響應一直是語音生成系統的痛點。盡管已有如VALLE和Fastspeech等語音合成系統的廣泛應用，但這些傳統的文本到語音（TTS）模型仍面臨一些根本性挑戰：包括語言之間復雜的多音詞、多語言轉換，以及語音自然度的不足。尤其是在面對需要多語言處理和自然聲音克隆的應用場景時，傳統的TTS模型難以滿足用戶的高要求。為了解決這些長期困擾語音合成系統的難題，FishAu...語音合成Fish Agent理化諾獎、人工智能與知識領域的融合
引言近期的發展標志著人工智能領域的一個激動人心的時期。2024年諾貝爾物理學獎授予了約翰·霍普菲爾德（JohnHopfield）和杰弗里·辛頓（GeoffreyHinton），以表彰他們在人工智能領域的奠基性工作；而化學獎則頒給了大衛·貝克（DavidBaker）、德米斯·哈薩比斯（DemisHassabis）和約翰·瓊珀（JohnJumper），以表彰他們利用人工智能解決蛋白質折疊問題的成就——這是科學界長達50年的重大挑戰。隨著人工智能在物理學和化學中的...人工智能知識領域統計力學NLP范式總結 | 擁抱新范式
1.基于傳統機器學習的范式（第一范式）在早期的自然語言處理（NLP）研究中，神經網絡尚未被引入。在這個時期，NLP處理方法通常需要從自然語言語料庫中提取各種特征，例如詞性標注、命名實體識別和短語結構分析。然后，使用特定的規則或數學、統計學模型來對提取出的特征進行匹配和應用。例如，可以通過詞性標注和短語結構分析提取文本中的關鍵信息，然后利用數學模型，如隱馬爾可夫模型或貝葉斯網絡，來執行序列分類和序列標注...NLP范式機器學習利用 Schemonic 優化數據庫模式描述以降低大語言模型成本
1.研究背景1.1背景隨著GPT4等大語言模型在數據管理領域的廣泛應用，如文本到SQL的生成和信息提取任務，向模型準確描述關系數據庫的schema成為解決問題的關鍵步驟。但由于LLM提供商通常按輸入（和輸出）文本的令牌數量收費，數據庫schema描述的長度直接關系到成本。例如，在文本到SQL的生成場景中，較長的schema描述會增加輸入令牌數量，進而提高每次轉換的成本。常見的描述schema的方法如使用DDL命令，雖能準確表達模式，但往往...Schemonic語言模型數據庫
