AI.x社區
- 登錄/注冊
先進的多文檔問答（MDQA）框架HiQA：大幅降低區分度低的復雜多文檔RAG的幻覺問題
原創背景檢索增強生成（RAG）迅速推進了語言模型領域，特別是在問答（QA）系統。通過在響應生成階段集成外部文檔，RAG顯著提高了語言模型的準確性和可靠性。這種方法提高了響應的質量，并降低了幻覺的頻率，其中模型生成了錯誤或誤導性的信息。然而，這些方法表現出有限的檢索精度時，面對眾多的難以區分的文件，在其實際應用中提出了顯著的挑戰。為了應對這些新出現的挑戰，本文提出HiQA，一個先進的多文檔問答（MDQA）框架，集成...大模型RAG最近爆火的GraphRAG是什么，真的能用于商業應用嗎？
原創GraphRag解決了什么問題在樸素的RAG（自我檢索生成模型）中，我們使用一個向量庫作為我們的知識庫。當用戶提出查詢時，該系統從向量庫中匹配頂部K個元素作為上下文，并將這個上下文與提示和查詢一起交給大型語言模型(LLM)進行回答。現在，讓我們假設這個向量庫是指向企業知識的。有兩個示例查詢:xx產品的價格是多少？去年技術團隊的成果有哪些？對于第一個問題，由于它是非常具體的，知識庫的搜索可能會找到相應的信息塊或常見...GraphRAGRAG小白也能讀懂的GraphRAG知識圖譜全流程解析，多圖預警！
原創今天，我要和你分享的是如何用GraphRAG從一個普通的txt文件中創建知識圖譜，準備好了嗎？那就讓我們開始吧！GraphRAG解決了什么問題當你問：“這個數據集的主題是什么？”這類高級別、概括性的問題時，傳統的RAG可能就會束手無策。為什么呢？那是因為這本質上是一個聚焦于查詢的總結性任務(QueryFocusedSummarization，QFS)，而不是一個明確的檢索任務。我知道你現在可能在想，“那我們該如何解決這個問題呢？”好消息是，有人...GraphRAG知識圖譜多模態RAG-VisRAG：基于視覺的檢索增強生成在多模態文檔上的應用
原創前期文章提到，多模態的RAG框架ColPali通過視覺語言模型（VLMs）高效地檢索純視覺特征的文檔，實現視覺文檔問答。??【RAG&多模態】多模態RAGColPali：使用視覺語言模型實現高效的文檔檢索??本文再來看一個類似工作，VisRAG，一種基于視覺語言模型的檢索增強生成（RAG）方法，用于解決多模態文檔中的信息利用問題。方法VisRAG分為VisRAGRet和VisRAGGen兩個階段。傳統的基于文本的RAG（TextRAG，左）依賴于解析后的文本進行檢...RAG多模態HuggingFace模型轉一鍵llamafile包完整教程，通義千問成功案例分享
隨著通義千問開源版的發布，越來越多的用戶希望能在本地部署這款優秀的中文大模型。然而，傳統的部署方式往往需要復雜的環境配置，讓很多非技術背景的用戶望而卻步。今天，我要向大家介紹一個革命性的方案：將通義千問轉換為Llamafile格式，實現真正的一鍵運行！有關llamafile的特點，我在上周的文章中做過總結。這次我給大家帶來的是著名的中文開源大模型“通義千問”的本地一鍵運行解決方案。為什么選擇通義千問？通義千問（Q...HuggingFace模型14B版本多模態RAG-ColPali：使用視覺語言模型實現高效的文檔檢索
原創前面文章提到，文檔智能解析能夠有效的增強RAG系統的準確性。??【文檔智能&RAG】RAG增強之路：增強PDF解析并結構化技術路線方案及思路??文檔智能解析RAG一般流程可以看到基于PDF的RAG，需要先對pdf進行解析，生成文本chunk，然后再基于文本建索引。這種pipline的方式，每個解析模塊都需要放置對應的解析模型，存在著錯誤傳播的問題。因此，筆者看到ColPali時，這種端到端的方案挺有意思，本文來看一看這個思路。ColBERT在此...RAG多模態RAG增強之路：增強PDF解析并結構化技術路線方案及思路
原創前言現階段，盡管大模型在生成式問答上取得了很大的成功，但由于大部分的數據都是私有數據，大模型的訓練及微調成本非常高，RAG的方式逐漸成為落地應用的一種重要的選擇方式。然而，如何準確的對文檔進行劃分chunks，成為一種挑戰，在現實中，大部分的專業文檔都是以PDF格式存儲，低精度的PDF解析會顯著影響專業知識問答的效果。因此，本文將介紹針對pdf，介紹一些pdf結構化技術鏈路供參考。一、可編輯文檔1.1語義分段經pdf解析...文檔智能RAGOpenAI 的 ?Sora 技術報告詳解
Sora詳細的技術報告發布了，相關從業者可能都需要看看。里面有OpenAI的訓練思路以及Sora詳細的技術特性，我從里面找了一些要點，詳細的可以去看完整內容。簡單來說Sora的訓練量足夠大也產生了類似涌現的能力。技術特點三維空間的連貫性：Sora可以生成帶有動態相機運動的視頻。隨著相機移動和旋轉，人物和場景元素在三維空間中保持連貫的運動。模擬數字世界：Sora還能模擬人工過程，如視頻游戲。Sora能夠同時控制Minecraft中的玩...OpenAI?Sora技術探索Llama 3：迄今為止最強的開源大型語言模型！
在AI領在Meta的最新發布會上，公司官方宣布推出兩個版本的Llama3模型，具體為80億和700億參數版本。這一舉動不僅標志著Llama3成為目前全球最強大的開源大模型，同時也預示著人工智能技術向更高層次的躍進。Llama3的發布，是對AI領域的一次重大貢獻。在多個基準測試中，Llama3的表現超越了許多知名模型，包括Gemma7B和Mistral7BInstruct。尤其是在模型的70B版本中，它不僅在性能上超越了閉源的競爭對手如Claude3Sonnet，還與谷歌...Llama 3語言模型游戲中的生成式 AI 革命
AI改變游戲，這項工作的變革性不僅在于它節省了時間和金錢，同時也提供了質量——從而打破了經典的“成本、質量或速度只能有兩個”的三角關系。藝術家們現在只需要幾個小時就可以創作出高質量的圖像，否則手工生成這些圖像需要數周時間，真正具有變革性的是：任何人只要能學習一些簡單的工具，就可以獲得這種創造力；這些工具可以以高度迭代的方式創建無限數量的變化；一旦訓練完畢，該過程是實時的——幾乎可以立即獲得結果。...游戲AI生成式什么是大模型、特點、優勢。大模型與AIGC的關系
大模型是指在人工智能領域，特別是在機器學習和深度學習中，具有大量參數和層次的模型。這些大型模型通常需要大量的訓練數據，以及相當大的計算資源來進行訓練和推理。它們在處理復雜任務時，如自然語言處理、圖像識別、語音識別等領域表現出色。大模型的特點：大量參數：大模型通常包含數十億到數百億個參數，使得它們能夠捕捉數據中的微妙模式和復雜關系。深層網絡結構：這些模型往往具有深層的網絡結構，包括多層的神經網絡...大模型人工智能AIGC可擴展性長文本評測集——Ada-LEval 詳細解讀
長文本評測隨著大模型能夠處理的上下文信息越來越多，達到百萬級別的詞匯量，人們對于模型長文本能力的研究興趣也隨之增長。司南OpenCompass數據集社區已經出現了諸如LEval、LongBench等長文本評測基準。這些工作基于一些開源自建的數據集構建樣本，其構建評測集上的性能已可以一定程度上反映模型的能力。因此，在長文本評測這一工作里，我們認為一個好的長文本評測集應該具備以下性質：樣本長度可控：測試樣本的上下文長度最好...Ada-LEvalAPI模型舒服! Gpt-4o正式接入蘋果Siri,你的IPhone、Mac、IPad都能用！
蘋果跟ChatGPT的合作蘋果發布會公布了與ChatGPT的合作事宜，并且接入其Siri，我立馬整了一個方案，可以讓GPT4o可以一鍵完美接入Siri，國內外都可以用，可以看下使用視頻和教程。操作步驟1.獲取快捷指令請復制下面的鏈接在你的蘋果設備中打開??https:www.icloud.comshortcutsd6855b59996448d3813785614e4591b1??點擊獲取之后,就可以看到你的快捷指令:呼叫二狗2.編輯快捷指令只需要把你獲取到的APIKEY填入到圖中的框中就行快...Gpt-4oSiriMac李彥宏的野心：百度不造“超級應用” ！百度亮出4款產品新形態：多智能體“秒噠”、多模態iRAG、AI眼鏡
原創編輯言征出品51CTO技術棧（微信號：blog51cto）進入下半年，國內大模型廠商們都在忙什么？11月12日上午9點35分，百度世界大會如約而至。李彥宏身著白襯衫，信步走入在上海世博中心的主會場，用一個小時的時間為人們展示了大模型進入2024年之后，百度最新取得的一些產品技術進展。李彥宏全程一個小時的演講，回顧了過去24個月全球生成式人工智能變革帶來了的大爆發，激動地喊出了放眼業內似乎還不太敢喊出的一句slogon：“AI應用...李彥宏AI眼鏡拋棄UNet，首個基于DiT的圖像編輯框架！DiT4Edit：多尺寸編輯質量更優 | 北大&港科大
文章鏈接：https:arxiv.orgpdf2411.03286工程鏈接：https:github.comfkyyyyDiT4Edit（待開源）亮點直擊基于基于Transformer的擴散模型在圖像編輯中的優勢，提出了DiT4Edit，第一個不需要調優的基于擴散Transformer（DiT）的圖像編輯框架。為了適應基于Transformer的去噪計算機制，首先提出了統一的注意力控制機制，以實現圖像編輯。引入了DPMSolver反演和圖像塊合并策略，以減少推理時間。大量定性和定量的實驗結果證明了DiT4Ed...AI模型首次超越擴散模型和非自回歸Transformer模型！字節開源RAR：自回歸生成最新SOTA！
文章鏈接：https:arxiv.orgpdf2411.00776項目鏈接：https:yucornetto.github.ioprojectsrar.html代碼&模型鏈接：https:github.combytedance1dtokenizer亮點直擊RAR（隨機排列自回歸訓練策略），這是一種改進的訓練策略，使得標準的自回歸圖像生成器能夠實現SOTA性能。引入雙向上下文學習：RAR通過最大化所有可能的分解順序的期望似然值，打破了自回歸模型在視覺任務中的單向上下文限制，使模型能夠在圖像生成中更有效地利用雙向...圖像生成AI大模型部署解決方案之TorchServe+vLLM
TorchServe是PyTorch中將模型部署到生產環境的一個解決方案。它用HTTP或HTTPSAPI封裝模型，可以處理多種任務，包括為部署模型分配workers、負責客戶端和服務器之間通信等。10月份發布的TorchServe0.12增加了對GenAI的支持，簡化了大語言模型的部署，增加了對主流模型引擎的內置支持，如vLLM和TRTLLM。vLLM引擎是目前執行LLM的最佳方式之一，TorchServe為vLLM部署到生產環境中提供了必要的一些功能，比如自定義metric、模型版本...大模型克服機器學習轉換器的局限性——從位置嵌入到RoPE和ALiBi方法
原創本文將從早期的正弦算法跟蹤分析到當前最新的RoPE和ALiBi算法，介紹如何通過先進的位置編碼來克服LLM開發中轉換器的局限性。引言近年來開發出的機器學習模型的指數級進步與轉換器架構的出現密切相關。以前，人工智能科學家必須先為手頭的每項任務選擇架構，然后再進行超參數優化以獲得最佳性能。限制科學家們潛力的另一個挑戰是難以處理數據的長期依賴性，難以解決梯度消失、長序列上下文丟失以及因局部約束而無法捕獲全局上下...機器學習正弦算法ALiBi算法掌握BERT：自然語言處理 （NLP） 從初級到高級的綜合指南
1.什么是BERT？在不斷發展的自然語言處理（NLP）領域，一項名為BERT的突破性創新已經出現，改變了游戲規則。BERT代表BidirectionalEncoderRepresentationsfromTransformers，不僅僅是機器學習術語海洋中的另一個首字母縮略詞。它代表了機器理解語言方式的轉變，使它們能夠理解使人類交流豐富而有意義的錯綜復雜的細微差別和上下文依賴關系。2.為什么BERT很重要？想象一句話：“她拉小提琴的時候很漂亮。傳統的語言模型會從左到...自然語言NLPBERT兩篇論文：面向AI/ML集群的高性能網絡傳輸協議優化研究
FASTFLOW:FlexibleAdaptiveCongestionControlforHighPerformanceDatacentersFASTFLOW：針對高性能數據中心的靈活自適應擁塞控制??https:arxiv.orgabs2404.01630??發表時間：2024年9月20日一、問題背景現代數據中心，特別是運行大規模AI訓練和HPC應用的數據中心，對網絡性能的要求越來越高。這些工作負載通常會產生突發性的、同步的流量，對傳統的擁塞控制算法提出了挑戰。現有擁塞控制算法的不足：基于延遲的算法：如Swift...AI/ML集群網絡傳輸
