AI.x社區
- 登錄/注冊
mPLUG-DocOwl2:新模型無需OCR，多頁文檔理解邁入新紀元
精華OCRFree多頁文檔理解的挑戰與進展在現代信息時代，多頁文檔的自動理解和處理變得尤為重要。這些文檔可能包括書籍、報告、學術論文等，它們通常包含大量的文本、圖表和其他視覺元素。傳統的文檔理解方法依賴于光學字符識別（OCR）技術將圖像轉換為文本數據。然而，OCR過程不僅耗時，而且在處理高分辨率或多頁文檔時，容易出現錯誤，尤其是在文檔格式復雜或字體多樣的情況下。隨著深度學習技術的發展，OCRFree的文檔理解方法逐漸...模型OCR多頁Open LLM集中爆發的一周，卷瘋了！
開源大模型領域熱鬧非凡的一周，各種開源，PaperAgent進行了概括：端側、Code、RAG、Agent、Reflection（反思糾正）、MoE，你關注的都在這里了。ReflectionLlama3.170B開源ReflectionLlama3.170B是世界上頂尖的OpenLLM，通過反思微調技術（ReflectionTuning）訓練，能夠檢測并糾正推理錯誤，具有很高的熱度，HuggingFace熱門排行Top1。Agent中需要LLM具有很強的推理規劃能力，這種反思技術訓練的模型是否很契合Agent尼？有待進...Open LLMOLMoE開源MiniCPM3.0在智能助手領域的具體應用
原創第三代小鋼炮MiniCPM3.0以其僅4B的參數規模，實現了令人印象深刻的性能，足以與市面上參數規模達到千億的大模型相媲美。這款模型由面壁智能開發，它不僅在參數效率上取得了顯著的成就，而且還具備了一些先進的特性，如無限長文本處理能力、端側FunctionCalling性能以及強大的RAG（檢索增強生成）功能。這些特性使得MiniCPM3.0在自然語言理解、知識推理、代碼生成和數學計算等多個方面展現出了卓越的能力。MiniCPM3.0的發布標志...AI模型AI智能kotaemon核心GraphRAG、Agent、多模態代碼解讀！
要說最近RAG方面火熱的項目當屬kotaemon，短時間暴漲8kstar??一個開源、清晰、強大且可定制的RAGUI??kotaemon的亮點是可定制化RAGUI，核心技術點是混合索引（Vector、Keyword、GraphRAG）、復雜推理Agent（ReAct、ReWOO、MemoryGIST和GraphReader）、多模態。混合索引（GraphRAG）混合索引主要是指：全文和矢量融合，這里還有一個選型就是集成了RAG的新范式：GraphRAG看代碼直接用的微軟GraphRAG檢索后重排采用LLMRerankerR...GraphRAGAgent代碼巧妙應用機器學習引導科研理解
圖1：理解物理現象的途徑有很多，其中原因α產生結果β。(a)不受控制的觀察會導致原因和結果之間的松散聯系。(b)結合已知物理定律的精心設計的實驗可以得到簡單的因果關系，但為復雜現象設計這樣的實驗可能極具挑戰性。(c)通用的機器學習（ML）模型（神經網絡）通過優化許多參數來擬合復雜數據，但解析這些黑箱（例如，數百萬個）參數的意義是非常困難的。(d)包含一些限制或簡化操作（白色）的機器學習模型使得識別復雜現象的因...機器學習應用ML工具多智能體路徑規劃新突破：AA-CCBS算法詳解
多智能體路徑規劃（MAPF）是一個在機器人、交通控制和自動化倉庫等領域具有廣泛應用的重要問題。MAPF的核心目標是為一組智能體找到一組無沖突的路徑，使它們能夠從起點移動到目標位置。傳統的MAPF問題通常限制智能體只能在預定義的圖上移動，這種限制在實際應用中可能不夠靈活。任意角度路徑規劃（AnyAnglePathfinding）是一種更為靈活的方法，允許智能體在不碰撞障礙物的情況下在任意位置之間移動。這種方法在提高路徑規劃效率...多智能體AA-CCBS算法光與AI：視障玩家的《黑神話：悟空》挑戰
精華你好呀，我是小智!相信大家最近一定都被《黑神話：悟空》刷屏了吧。小智作為一個手殘黨，也被大頭虐的死去活來。游戲已經被講得很多了，所以我們聊點別的。此次我們聚焦在一個特別的故事上——全盲女玩家諾子喵嗚挑戰《黑神話：悟空》。她依靠實時彈幕指導和聽聲辨位的方式，成功擊敗了游戲中的第一個Boss。這一事件不僅引發了社會廣泛關注,也提出了一個新的問題：在AI技術日新月異的今天，我們能否利用AI為視障玩家提供更好的...AI技術模型超實用！手把手教你十分鐘制作一個海報生成圖像流，從此遠離海報設計煩惱。
最近喜歡上了Coze的圖像流，非常方便就可以幫我們設計出各種海報、日簽、素描照等各種玩法。特別是海報，應該算是我們工作生活中經常遇到或者用到的一個東西，在AI時代到來前基本都得找專業設計師設計才行。AI的到來，大幅降低了制作海報的難度。接下來就手把手帶大家完成一個海報設計的圖像流，后續就可以輕松出海報啦。開始節點老規矩，先新建一個圖像流，命令和備注大家自己隨意取，能夠理解就行。在開始節點里，我們增加了...海報生成圖像一文梳理Transformer在時間序列預測中的發展歷程代表工作
Transformer的序列建模能力，讓其天然就比較適合時間序列這種也是序列類型的數據結構。但是，時間序列相比文本序列也有很多特點，例如時間序列具有自相關性或周期性、時間序列的預測經常涉及到周期非常長的序列預測任務等。這些都給Transformer在時間序列預測場景中的應用帶來了新的挑戰，也使業內出現了一批針對時間序列任務的Transformer改造。下面給大家介紹Transformer在時間序列預測中的應用，基本上按照時間順序，到2023...Transformer時間序列預測編程表現比肩ChatGPT，這個新模型能力很強大
智譜8月底在國際數據挖掘與知識發現大會（KDD）上發布了新一代自主研發的新旗艦模型（GLM4Plus、GLM4VPlus、CogView3Plus），此次更新覆蓋了語言理解、圖像生成、視頻理解等多個方面，并達到了國際第一梯隊的水平。本次發布較之前有以下更新：GLM4Plus（大語言模型）：語言理解和長文本處理能力全面提升，支持128K上下文和多路FunctionCall。GLM4VPlus（圖像和視頻理解模型）：具備卓越的圖像和視頻理解能力，支持8K上下文和多...AIBigMode性能不走尋常路的面壁智能，又一次“掀桌子”了！
原創整理星璇不走尋常路的面壁智能，又一次“掀桌子”了！面壁昨天發布了第三代小鋼炮MiniCPM3.0，參數只有4B，性能卻足以叫板市面上千億參數規模的大模型！端側的“面壁定律”又一次發威了！圖片話不多說，直接上干貨。1.綜合能力：4B規模干翻GPT3.5提前近4個月，面壁智能實現了初代面壁小鋼炮發布時立下的Flag：今年內讓GPT3.5水平的模型在端側跑起來！圖片MiniCPM3.0再次挖掘端側模型的極致性能，僅4B參數，在包括知識水平、數學...智能AI原生記一次關于人工智能應用方向的面試以及帶來的思考
原創“大模型的應用方向有多種，每種都有不同的技術”昨天在招聘網站上預約了一個人工智能應用開發的面試，在面試的過程中對大模型應用產生了一些討論，以及帶來了一些思考，在此做個記錄。關于大模型應用及問題的討論以下所有內容，在不特殊說明的情況下，問——指的是面試官，答——指的是我自己。問：關于大模型訓練與微調，即怎么訓練或微調一個大模型？答：從技術的角度來說，模型的訓練和微調沒有本質的區別，目的都是對模型...人工智能人工智能應用手寫Sora中的Diffusion Transformer(DiT)——探索最先進視頻生成器背后的秘密
精華"在遠古的DiTharos大地上，曾經有一個傳說，名為Sora。它體現了無限潛力的本質，包括廣闊和壯麗的天空。當它展翅高飛，其彩虹般的翅膀跨越廣闊的空間，光線反射在它引人注目的身體上時，人們可以聽到“Sora即天空”的聲音在天空中回蕩。使它成為傳說的不僅僅是它史詩般的巨大，而是它能夠駕馭在飄動的云中散落的光元素。憑借其強大的力量，Sora用一次旋轉創造的魔力，是一種令人嘆為觀止的景象！他們說，Sora依然存在，不斷磨練...Sora模型LLM 工程師入門：生成式AI的簡易指南
原創編者按：大模型發展了近兩年，BaihaiIDP公眾號也分享了近百篇LLM各環節的技術洞察，有前沿探討、有落地實踐、有應用經驗。但回頭來看，我們似乎從來沒有認真、從0開始探討過LLM的基本原理。最近，一些企業客戶和伙伴來詢問，是否有LLM的從0到1的科普貼。他們說：“雖然在很多場景中，LLM都已經滲透入我們的工作生活，但對其內部的運作機制，仍有很多謎團待解決。在應用落地時，LLMs這種“黑箱式”的運作模式，不僅使我們難以完...AILLMECCV`24 | 螞蟻集團開源風格控制新SOTA!StyleTokenizer：零樣本精確控制圖像生成
文章鏈接：https:arxiv.orgpdf2409.02543代碼&數據集鏈接：https:github.comalipaystyletokenizer亮點直擊介紹了一種名為StyleTokenizer的新方法，用于在擴散模型中進行風格控制。這種方法允許通過一個任意參考圖像實現對生成圖像風格的精確控制，無需訓練，同時最小化對文本提示控制效果的影響。實驗結果顯示，方法在風格控制領域相比其他最先進的方法表現出色。整理了一個名為Style30k的數據集，包含超過300種廣泛分布的風格...生成模型一文剖析AI大模型技術架構的全景視圖：從基礎實施層、云原生層、模型層、應用技術層、能力層、到應用層
原創AI大模型技術架構全景圖AI大模型已經在具體的業務場景落地實踐，本文通過梳理AI大模型技術架構的全景視圖，讓你全面了解AI大模型技術的各個層次，從基礎實施層、云原生層、模型層、應用技術層、能力層、到應用層，如下圖所示，揭示AI大模型如何在不同的層面上協同工作，推動產業應用的落地。一、基礎設施層AI大模型技術發展離不開堅實的基礎設施支持，涵蓋了GPU、CPU、RAM、HDD、Network等關鍵硬件設施。這些硬件設備為AI大模型...大模型00后用AI整頓職場，Excel被革命了！一分鐘可填寫500個表格，數據搜集快1000倍！網友：微軟、谷歌快點跟進
原創編輯言征、伊風出品51CTO技術棧（微信號：blog51cto）Excel真的要被革命了！想象一下有成千上萬的實習生幫你處理一張表格的情景！你敢想象每張電子表格里的每一行每一列，甚至每一個單元格都是一個單獨的智能體嗎？這種“超神”級別的表格AI，甚至微軟谷歌的Doc都沒有做到。但卻被一家融資200萬美元的小團隊做到了。近日，一家名為Paradigm的AI公司，在X上推出了他們的研發新品，這是一個全新的AI驅動的電子表格，每分鐘可以填...AI整頓職場AI表格超越GPT-4！LoRA技術引領大型語言模型新革命
引言：探索LoRA在大型語言模型中的應用在人工智能領域，大型語言模型（LLMs）的發展日新月異，它們在多種任務中展示了卓越的性能。然而，這些模型通常需要大量的計算資源和內存，這限制了它們的實用性和可訪問性。為了解決這一問題，低秩適應（LoRA）技術應運而生，它通過在保持模型性能的同時減少可訓練參數的數量和內存使用，為參數高效的微調提供了一種有效的方法。LoRA的核心思想是在大型語言模型的凍結層之間插入低秩矩陣...GPT-4LoRA技術更小、更弱，卻更優：通過計算最優抽樣訓練大語言模型推理器
一、結論寫在前面論文標題：Smaller,Weaker,YetBetter:TrainingLLMReasonersviaComputeOptimalSampling論文鏈接：??https:arxiv.orgpdf2408.16737??利用來自強大語言模型（LMs）的高質量合成數據進行訓練是提升LMs推理性能的常見策略。論文重新審視了在固定推理預算（例如，FLOPs）下，這一策略是否為計算最優。為此，論文探究了使用更強但更昂貴（SE）模型與較弱但更廉價（WC）模型生成合成數據之間的權衡。論文評估了生成...語言模型推理器NL2SQL：基于LLM的解決方案是最好的嗎？
1.NL2SQL現狀自然語言轉SQL（nl2sql）技術是指自然語言查詢轉化為SQL查詢，降低普通用戶和專家用戶在訪問海量數據集和獲取數據分析結果時的門檻。1.1我們目前處于何方？圖片上圖展示了過去二十年nl2sql方法的演進歷程，從基于規則的方法，到基于深度神經網絡的方法，再到可調的預訓練語言模型（PLMs），直至大型語言模型（LLMs），整個過程伴隨著數據集的發展，比如Spider和BIRD等基準測試的發展。LLMs（如GPT4和Llama2）相較于...LLMNL2SQLSQL
