AI.x社區
- 登錄/注冊
GraphRAG新增文件對已有知識庫影響有多大？緩存又是何時失效？一文帶你探究到底
原創在使用LLM應用時，我們經常會遇到需要向知識庫中添加新文件的需求。傳統的RAG通過對chunk進行embedding來處理這種情況，并且新文件的加入不會影響之前生成的chunkembedding。但是，GraphRAG的處理方式有所不同。由于其索引過程涉及多個pipeline階段，因此可能會產生一些問題：當新文件加入時，是否需要對已有的文件重新進行索引？緩存在這個過程中起到了什么作用？哪些workflow需要重做？帶著這些問題，我們來一探究竟。GraphRA...知識圖譜GraphRAGRAGRAG工作流哪種組合效果最佳？深入探究RAG領域最佳實踐
原創?檢索增強型生成（RAG）技術已被證明在整合最新信息、減少錯誤想象以及提升回應質量方面非常有效，特別是在特定領域中。雖然已經提出了許多旨在通過查詢依賴的檢索來增強大型語言模型的RAG方法，但這些方法仍然受到其復雜實現和延長響應時間的影響。通常，一個RAG工作流涉及多個處理步驟，每個步驟都可以以不同的方式執行。那么哪些處理步驟的組合能起到好的效果呢？今天給大家分享一篇相關的論文：RAG領域的最佳實踐[1]。1.介...RAGLLM大模型Omnivision-968M：最小多模態模型，為邊緣設備而生！
原創 精華最近在HuggingFace上有一個開源多模態模型引起了廣泛關注：Omnivision968M。這款模型以其不到1B參數量的小巧體積（僅968M參數量）脫穎而出，成為目前市場上最小的視覺語言模型之一。Blog:???https:nexa.aiblogsomnivision???Model:https:huggingface.coNexaAIDevomnivision968MOmnivision968M??Omnivision968M是由NexaAI這家創業公司推出（與國內做CMOS聞名的同名半導體企業Omnivision無關）。NexaAI的愿景是打造先進的端...多模態模型【技術前沿】FlashAttention-2：深度學習中的高效注意力機制新突破
一、引言在深度學習領域，尤其是自然語言處理和計算機視覺任務中，Transformer模型憑借其強大的性能已成為主流架構。然而，Transformer模型中的注意力機制雖然有效，但往往伴隨著高昂的計算成本和內存消耗。為了解決這一問題，研究人員不斷探索新的方法以優化注意力機制的性能。近期，FlashAttention2的提出為這一領域帶來了新的突破。本文將詳細介紹FlashAttention2，探討其如何在保持精確性的同時，實現快速且內存高效的注意...深度學習性能應用前景o1的風又吹到多模態，直接吹翻了GPT-4o-mini
開源LLaVAo1：一個設計用于進行自主多階段推理的新型VLM。與思維鏈提示不同，LLaVAo1獨立地參與到總結、視覺解釋、邏輯推理和結論生成的順序階段。LLaVAo1超過了一些更大甚至是閉源模型的性能，例如Gemini1.5pro、GPT4omini和Llama3.290BVisionInstruct。基礎模型與LLaVAo1的比較?；A模型Llama3.211BVisionInstruct在推理過程中有明顯的缺陷，整個推理過程中出現了幾個錯誤。相比之下，LLaVAo1首先概述問題，從圖像中解釋相關...o1GPT視覺解釋解密心智理論：從人類社會到人工智能的集體智慧提升之路
精華集體智慧（CollectiveIntelligence，CI）在許多領域都扮演著至關重要的角色。無論是在經濟學、進化理論，還是在神經網絡和社會性昆蟲的研究中，集體智慧都展現出了其廣泛的應用前景。在經濟學中，市場行為往往可以被視為一種集體智慧的表現，個體的決策匯聚成市場的集體行為，這種現象在信息傳播、價格形成等方面尤為明顯。在進化理論中，集體智慧則體現在物種的協同進化過程中，例如螞蟻和蜜蜂的群體行為，這些社會性昆蟲通過...人工智能優化群體系統LangChain-RAG必備：向量數據庫如何CRUD
今天我將帶領大家，以最為基礎的CRUD入手來看看向量數據庫應該如何使用?？紤]到目前市面上的向量數據庫眾多，每個數據庫的操作方式也無統一標準?！副疚膶⒒贚angChain提供的VectorStore類中的統一操作方法，以chroma向量數據庫作為示例進行演示。」向量數據庫新增LangChain的VectorStore類是一個通用的向量數據庫的接口，它可以對接不同的底層向量數據庫，如chroma、faiss、annoy等，實現統一的操作方法和API。VectorStore類...LangChainCRUD數據庫2024時序預測都有哪些經典工作—總結篇
在這個系列里，圓圓會帶大家梳理2024年時間序列預測領域的經典工作，涉及多個優化方向。在這一節里，會為大家整體介紹2024年的時間序列一些具有突破性進展的領域。后續章節將持續在知識星球中更新，深入解讀和串聯這些領域的相關工作。1.時間序列基礎模型2024年是時間序列預測與大模型深度結合的元年，涌現了很多時間序列基礎模型和大模型中建模方法在時間序列預測的應用。一方面，今年出現了很多類型的時間序列基礎模型，希望...時序預測LLM擴散模型對話華為云馬會彬：AI原生應用變革，本質上是一場「從1到 0」的創新
嘉賓馬會彬編輯云昭出品51CTO技術棧（微信號：blog51cto）進入2024年，業界對于生成式AI的注意力開始轉向應用層。AI編程領域的Cursor、AI生成視頻領域的可靈、自動駕駛領域的Robotaxi等，都取得了很大的突破。據有關媒體報道，2024年創投界在AI應用層上的投資規模整體超過了模型層。這種轉變的背后，折射出業界對于大模型的認知發生了新變化。為什么AI應用會成為今年的焦點？華為云高級技術專家馬會彬對此表示，“這背后是因為...華為云馬會彬AINano-graphrag: 輕量級、靈活的 GraphRAG 實現
微軟提出的GraphRAG很有效，但是官方實現和使用都很復雜，不易修改和定制。近日，網絡上出現一個國人開發的更簡潔、易用且高度可定制的版本實現——nanographrag，它保留了核心功能，同時提供了更友好的用戶體驗。值得一提的是之前介紹的fastgraphrag也受到了該項目的啟發。nanographrag核心特點是其簡潔性、易用性和可定制性。代碼量僅為1100行（不包括測試和提示），是官方實現的緊湊高效替代品。它設計為輕量級、異步和完全...GraphRAGLLM函數【智匯金秋創造季】智匯成海，致敬開發者的“超級碼力”！
以下為本次活動獲獎名單（名單中為用戶昵稱），請于三日內向51CTO小助手（微信號：assistant51cto）提供回帖截圖用以核實獲獎信息，并將收貨信息發給51CTO小助手，包括收貨姓名、收貨電話、收貨地址等?；顒右唬禾剿鰽I技術，成為尋寶智多星活動二：票選你心中的超級“碼”力東風洪飛wx62284da96d71b玨大爺王大腰Doris沈JakeSU??答案公布1??活動1：探索AI技術，成為尋寶智多星六個問題答案如下，看看你答對了沒？序號問題答案Q...谷歌Google多模態大模型數據構造方法
原創?本文將以LLaVA和MiniGPT4為例介紹多模態大模型數據構造的方式。數據質量是決定多模態模型性能的關鍵因素。高質量的數據能夠減少噪聲干擾，提高模型的學習和預測準確性。同時多模態數據的多樣性直接影響模型的泛化能力。一個包含豐富多樣數據的集合能夠訓練出更加健壯的模型，使其能夠在不同的應用場景中表現良好。本文以LLaVA和MiniGPT4為例，介紹相關多模態數據的構造過程，給大家在訓練或者微調自己的多模態模型提供思路。L...多模態大模型數據構造大模型面經—如何評估顯卡利用率及顯卡運用優化方法
原創?本篇總結了顯卡利用率評估方法及顯卡運用優化方法。本篇來總結一些顯卡優化的經驗，還是按照面經的形式給出，希望能給到大家一些實際訓練效率優化的幫助下面是一個快捷目錄。一、如何評估顯卡利用率？二、如何優化顯存利用率？一、如何評估顯卡利用率使用deepseed時，zero3如果沒有nvlink，多卡訓練下會變慢很多，下面有三種方法來評估訓練時發揮了多少GPU性能。1.flops比值法采用Nvidia可參考的顯卡峰值計算速度進行計算gpu...大模型面經再談大模型檢索增強生成——RAG
原創“RAG的核心部件有大模型，embedding模型和檢索系統；而RAG的重點和難點都在于檢索系統”RAG檢索增強生成——也是很多人理解的本地知識庫，但RAG和本地知識庫還是有很大區別的；但這不是今天討論的重點，重點是為什么會有RAG技術，以及RAG技術解決了哪些問題？大模型存在的幾個主要問題，知識的局限性實時性和幻覺問題以及隱私數據RAG并不能完全解決幻覺問題，但可以減少幻覺的發生incontextlearning語境學習上下文學習RAG與大...RAG大模型訓練大模型時，顯存都哪去了？
原創GPT2（XL）有15億個參數，使用16位精度，一個參數占用2個字節的內存，因此這些參數大約占用3GB的內存。按照如下超參數設置：優化器→Adam批量大小→32變換層數量→48序列長度→1000要想在單個GPU上訓練GPT2，所需的最小內存大概是多少？答案可能會嚇到你。在一個擁有32GB內存的單個GPU上，幾乎無法訓練一個3GB的GPT2模型。但這怎么可能呢？內存都去哪了？讓我們來了解一下。模型在訓練過程中有很多方面會持續占用內存。1)優化器...大模型超GPT-4o，1240億參數！最強開源多模態模型 Pixtral Large！
今天凌晨，法國著名開源大模型平臺Mistral.ai，開源了超大多模態模型——PixtralLarge。PixtralLarge有1240億參數，支持128K上下文，能理解文本、圖表、圖像等，也是Mistral.ai自家聊天助手leChat目前正在使用的視覺模型。支持中文、法文、英文等十多種主流語言。根據測試數據顯示，PixtralLarge在MMMU、MathVista、ChartQA、DocVQA、VQAv2等基準測試的數據，超過了GPT4o、Gemini1.5Pro、Claude3.5Sonnet、Llama3.290B，成為目...模型開源5歲小孩哥和ChatGPT深聊45分鐘，AI成帶娃利器！
OpenAI聯合創始人兼總裁GregBrockman，轉發了一個特殊的ChatGPT實際用例。一位5歲小孩用高級語音模式與ChatGPT深聊了超過45分鐘，并且在聊天的過程中問了很多問題，ChatGPT細心為他解答了這些難題并且從頭至尾都保持著耐心，這對于幼兒教育領域來說非常有開創性。分享這個案例的是《永遠不夠》的作者、Tiny的聯合創始人AndrewWilkinson。他的5歲兒子是從關于汽車是如何制造的問題開始的，ChatGPT以一種他能夠理解的方式解釋了這...ChatGPTAIVLM版o1超越一眾開源和閉源模型！LLaVA-o1：多階段自主推理（北大&清華&阿里等）
論文鏈接：https:arxiv.orgabs2411.10440亮點直擊引入了LLaVAo1，這是一種專為系統性推理設計的視覺語言模型，在需要結構化思維和推理的任務中表現出色。證明了LLaVAo1使用階段級束搜索具有推理時的可擴展性。這意味著通過增加計算資源，本文的方法性能可以進一步提升，從而適用于更復雜的任務和場景。在各種基準測試上的廣泛實驗表明，本文的方法相較于更大規模和閉源模型實現了更優異的性能，凸顯了LLaVAo1在多模態推理中的有...AI模型提升人工智能性能的三種關鍵的LLM壓縮策略
原創在當今快節奏的數字環境中，依賴人工智能的企業面臨著新的挑戰：運行人工智能模型的延遲、內存使用和計算能力成本。隨著人工智能快速發展，幕后推動這些創新的模型變得越來越復雜、資源密集。雖然這些大模型在處理各種任務中取得了出色的性能，但它們通常伴隨著很高的計算和內存需求。對于威脅檢測、欺詐檢測、生物識別登機等實時人工智能應用，提供快速、準確的結果變得至關重要。企業加快實施人工智能的真正動機不僅在于節省...人工智能LLM機器學習開源新發布｜PolarDB-X v2.4.1 增強企業級運維能力
PolarDBX開源脈絡2021年10月在云棲大會上，阿里云正式對外開源了云原生分布式數據庫PolarDBX，采用全內核開源的模式，開源內容包含計算引擎、存儲引擎、日志引擎、Kube等。2022年1月，正式發布2.0.0版本，新增集群擴縮容、以及binlog生態兼容等特性，兼容maxwell和debezium增量日志訂閱，以及新增其他眾多新特性和修復若干問題。2022年3月，正式發布2.1.0版本，全面提升PolarDBX穩定性和生態兼容性，其中包含基于Paxos的三副本...人工智能
