編者按：您是否曾經(jīng)遇到這樣的情況：明明構(gòu)建了一個(gè)功能強(qiáng)大的RAG系統(tǒng)，但用戶卻頻繁抱怨“找不到想要的信息”或“返回的結(jié)果不夠準(zhǔn)確”？這是許多RAG應(yīng)用開發(fā)者面臨的共同挑戰(zhàn)。這個(gè)問題不僅會(huì)導(dǎo)致用戶體驗(yàn)下降，更可能直接影響RAG系統(tǒng)的使用率和實(shí)際價(jià)值。如果未能得到妥善解決，之前的辛苦工作恐將付之東流，甚至影響整個(gè)項(xiàng)目的成功。這篇文章并非紙上談兵，而是源自作者在實(shí)際項(xiàng)目中的第一手經(jīng)驗(yàn)。文章詳細(xì)介紹了5種QueryTr...

一、驚爆背景與動(dòng)機(jī)在計(jì)算機(jī)圖形學(xué)的世界里，傳統(tǒng)三維重建技術(shù)雖然基于體積場(chǎng)景表示，但在用于反渲染時(shí)，那計(jì)算復(fù)雜度簡(jiǎn)直讓人頭疼。而近期呢，有研究開始使用輻射緩存來模擬全局光照，本以為找到了救星，可誰能想到現(xiàn)有方法存在偏差，這就像一顆老鼠屎壞了一鍋粥，嚴(yán)重影響了渲染質(zhì)量和優(yōu)化梯度。二、相關(guān)工作大揭秘1、逆渲染：這可是個(gè)神秘的魔法，旨在從一組圖像中恢復(fù)場(chǎng)景屬性，比如材料、光照和幾何形狀。想象一下，就像從...

本文將給出有關(guān)機(jī)器學(xué)習(xí)重要基礎(chǔ)工具——決策樹分類器的深度解析，并提供一個(gè)生成一棵簡(jiǎn)化型決策樹的完整案例。簡(jiǎn)介決策樹在機(jī)器學(xué)習(xí)中無處不在，因其直觀的輸出而備受喜愛。誰不喜歡簡(jiǎn)單的“ifthen”流程圖？盡管它們很受歡迎，但令人驚訝的是，要找到一個(gè)清晰、循序漸進(jìn)的解釋來分析決策樹是如何工作的，還是一項(xiàng)具有相當(dāng)挑戰(zhàn)性的任務(wù)。（實(shí)際上，我也很尷尬，我也不知道花了多長(zhǎng)時(shí)間才真正理解決策樹算法的工作原理。）所以...

一、背景之前的文章中我們?cè)敿?xì)介紹了大規(guī)模分布式訓(xùn)練中的數(shù)據(jù)并行（DataParallelism，DP）、張量并行（TensorParallelism，TP）和流水線并行（PipelineParallelism，PP）。這篇文章中我們繼續(xù)介紹MoE中經(jīng)常使用的專家并行（ExpertParallelism，EP），以及EP中涉及的相關(guān)All2All操作和優(yōu)化手段等。二、引言2.1標(biāo)準(zhǔn)All2AllAlltoAll是集合通信庫（比如NCCL）中另一種常見的通信原語，用于多個(gè)設(shè)備之間進(jìn)行數(shù)據(jù)交換。AlltoAlll操作...

1.背景大語言模型在工業(yè)界應(yīng)用的一個(gè)主要障礙就是大語言模型（LLMs）不遵循標(biāo)準(zhǔn)化輸出格式。這種不一致性，使得輸出解析變得更為復(fù)雜，也削弱了這些模型的可靠性。所以，大家普遍會(huì)采用結(jié)構(gòu)化輸出的方式來規(guī)避這一問題，也就是使用格式化限制，比如以標(biāo)準(zhǔn)化格式進(jìn)行輸出，比如：Json、XML等。這些限制可以通過多種方式來實(shí)現(xiàn)，比如指示模型遵循帶有格式限制指令的指定格式，或者使用像JSON模式這樣的標(biāo)準(zhǔn)解決方案。這些方案讓LL...

之前很多研究都是生成、發(fā)現(xiàn)、過濾高質(zhì)量的通用指令微調(diào)數(shù)據(jù)，而大家對(duì)代碼任務(wù)的越發(fā)關(guān)注，如何構(gòu)建更好的代碼指令調(diào)整數(shù)據(jù)也越發(fā)重要。下面給大家?guī)硪黄Y選高質(zhì)量代碼指令微調(diào)數(shù)據(jù)的文章，主要基于指令的復(fù)雜性、回復(fù)質(zhì)量和指令的多樣性三個(gè)維度來進(jìn)行樣本的篩選，同時(shí)也指出了當(dāng)前部分代碼指令數(shù)據(jù)在HumanEval上存在嚴(yán)重的數(shù)據(jù)泄露。Paper:https:arxiv.orgabs2409.03810Github:https:github.combanksy23XCoderDataHF:http...

文章鏈接：https:arxiv.orgpdf2408.14211git鏈接：https:thuhcsi.github.ioMagicMan亮點(diǎn)直擊提出MagicMan，一種旨在從單一參考圖像生成高質(zhì)量多視角人像的方法，從而促進(jìn)無縫的3D人體重建。提出了一種高效的混合多視角注意力機(jī)制，以生成更密集的多視角人像，同時(shí)保持更好的3D一致性。引入了幾何感知的雙分支結(jié)構(gòu)，在RGB和法線領(lǐng)域同時(shí)進(jìn)行生成，通過幾何線索進(jìn)一步增強(qiáng)多視角一致性。提出了一種迭代優(yōu)化策略，逐步提高SMPLX姿...

文章鏈接：https:arxiv.orgpdf2408.03209git鏈接：https:unityresearch.github.ioIPAdapterInstruct.github.iodemo鏈接：https:huggingface.cospacesunityIPAdapterInstruct亮點(diǎn)直擊提出IPAdapterInstruct模型：結(jié)合自然圖像條件與文本指令，靈活切換多種解釋方式（如風(fēng)格遷移、物體提取），簡(jiǎn)化任務(wù)處理。增強(qiáng)生成控制：改進(jìn)傳統(tǒng)圖像條件方法，通過指令提示在同一條件圖像下處理多種解釋，提高生成控制精度。高效學(xué)習(xí)與靈活性...

嘿，大家好！這里是一個(gè)專注于AI智能體的頻道！今天給大家安利一個(gè)開源框架muAgentv2.0：KG引擎驅(qū)動(dòng)的創(chuàng)新Agent框架。由LLM和EKG（EventicKnowledgeGraph，行業(yè)知識(shí)載體）驅(qū)動(dòng)的全新Agent框架，協(xié)同利用MultiAgent、FunctionCall、CodeInterpreter等。通過基于畫布的拖放和簡(jiǎn)單的文本編寫，大語言模型可以輔助您在人工指導(dǎo)下執(zhí)行各種復(fù)雜的SOP。它兼容市場(chǎng)上現(xiàn)有的框架，可以實(shí)現(xiàn)四大核心差異化技術(shù)功能：復(fù)雜推理、在線協(xié)作、...

“透過現(xiàn)象看本質(zhì)，才是最應(yīng)該做的選擇”對(duì)大模型了解的人應(yīng)該知道，大模型是因?yàn)閛penAI的GPT模型爆火的，當(dāng)然大模型的發(fā)展也是經(jīng)過多年的發(fā)展才有了今天的地步。在之前的文章中也介紹過，大模型的全程是大規(guī)模預(yù)訓(xùn)練語言模型的簡(jiǎn)稱，也就是說大模型剛開始是在語言處理領(lǐng)域大放異彩的。因此，可以說大模型是深度學(xué)習(xí)，也就是神經(jīng)網(wǎng)絡(luò)模型與自然語言處理相結(jié)合而產(chǎn)生的一種技術(shù)。而隨著大模型在自然語言處理領(lǐng)域的爆發(fā)，一些技術(shù)...

RAG系統(tǒng)包含兩個(gè)核心組件：檢索器和生成器，本文將介紹如何評(píng)估這兩個(gè)組件。檢索增強(qiáng)型生成（RAG）系統(tǒng)被設(shè)計(jì)用來提升大型語言模型（LLM）的響應(yīng)質(zhì)量。當(dāng)用戶提交查詢時(shí)，RAG系統(tǒng)從向量數(shù)據(jù)庫中提取相關(guān)信息，并將其作為場(chǎng)景傳遞給LLM。然后，LLM使用這個(gè)場(chǎng)景為用戶生成響應(yīng)。這一過程顯著提高了LLM反應(yīng)的質(zhì)量，減少了“幻覺”。圖1RAG系統(tǒng)工作流程在圖1的工作流程中，RAG系統(tǒng)中有兩個(gè)主要組件：檢索器：它利用相似度搜索的能力...

01.Complexitybasedpromptingformultistepreasoning（ICLR2023)基于復(fù)雜度的提示方法用于多步推理摘要：我們研究了如何提示大規(guī)模語言模型進(jìn)行多步推理。已有研究表明，當(dāng)使用鏈?zhǔn)剿伎迹–oT）提示，即用一系列短句描述從問題到答案的中間推理步驟時(shí)，大型語言模型能夠?yàn)樾碌妮斎肷尚碌耐评礞湶㈩A(yù)測(cè)答案。本研究的核心問題是：哪些推理示例能成為最有效的提示？為此，我們提出了基于復(fù)雜度的提示方法，一種用于多步推理的簡(jiǎn)單...

“算子指的是神經(jīng)網(wǎng)絡(luò)中完成特定功能的一些算法節(jié)點(diǎn)”在學(xué)習(xí)人工智能技術(shù)的過程中，簡(jiǎn)單學(xué)習(xí)了一些關(guān)于機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，以及大模型的訓(xùn)練和微調(diào)過程。然后就把大部分精力放到了大模型的應(yīng)用之上，比如AIGC，知識(shí)庫，Agent等。而今天，我們來了解一下大模型技術(shù)的實(shí)現(xiàn)之——算子。算子關(guān)于算子這個(gè)概念，也是最近幾天剛接觸到的，在此之前都沒聽過這個(gè)名詞。還是閑來無事瀏覽招聘網(wǎng)站的時(shí)候，看到有招聘算子開發(fā)的...

整理言征出品51CTO技術(shù)棧（微信號(hào)：blog51cto）9月8日，2024Inclusion·外灘大會(huì)圓滿閉幕，國(guó)內(nèi)外一眾AI大佬、獨(dú)角獸創(chuàng)始人匯集上海，發(fā)表了目前對(duì)于生成式AI發(fā)展浪潮的觀點(diǎn)，這里摘選精彩一二，看看都釋放了哪些信號(hào)。1.王堅(jiān)：AI+的重點(diǎn)不是加什么，而是怎么加王堅(jiān)此次演講分享了此次AI革命的不同之處：“當(dāng)你看AI、AI+跟AI基礎(chǔ)設(shè)施的時(shí)候，你就會(huì)發(fā)現(xiàn)這個(gè)世界不但技術(shù)在革命，機(jī)制也在革命，基礎(chǔ)設(shè)施也在革命。沒有比這三項(xiàng)革...

文章：https:arxiv.orgpdf2405.18424項(xiàng)目：https:zqh0253.github.io3DitSceneHuggingFace:https:huggingface.cospacesqihang3DitScene場(chǎng)景圖像編輯在娛樂、攝影和廣告設(shè)計(jì)中至關(guān)重要。現(xiàn)有方法僅專注于2D個(gè)體對(duì)象或3D全局場(chǎng)景編輯，導(dǎo)致缺乏一種在3D層面上以不同粒度有效控制和操作場(chǎng)景的統(tǒng)一方法。本研究提出了3DitScene，這是一種新穎且統(tǒng)一的場(chǎng)景編輯框架，利用語言引導(dǎo)的解耦GaussianSplatting實(shí)現(xiàn)從2D到3D的無縫編輯，允許...

本文將通過一個(gè)完整的財(cái)務(wù)決策方面的案例來展示如何將語言代理樹搜索與GPT4o模型相結(jié)合以增強(qiáng)LLM決策能力。簡(jiǎn)介大型語言模型（LLMs）在執(zhí)行涉及復(fù)雜推理的自然語言任務(wù)方面表現(xiàn)出了非凡的能力。因此，這些模型已經(jīng)發(fā)展成為能夠規(guī)劃、制定戰(zhàn)略和解決復(fù)雜問題的代理。然而，當(dāng)涉及到在不確定性下做出決策時(shí)，挑戰(zhàn)依然存在，因?yàn)榻Y(jié)果不是確定性的，或者在不斷變化的環(huán)境中需要自適應(yīng)決策，特別是在每一步都影響下一步的多步驟場(chǎng)景...

1.當(dāng)前知識(shí)圖譜構(gòu)建存在的問題知識(shí)圖譜通過捕捉實(shí)體之間的關(guān)系來構(gòu)建知識(shí)的結(jié)構(gòu)化表示，在分析文本數(shù)據(jù)集和從結(jié)構(gòu)化異構(gòu)數(shù)據(jù)中推斷知識(shí)方面具有顯著優(yōu)勢(shì)。比如，知識(shí)圖譜能夠融合來自多個(gè)來源的不同數(shù)據(jù)，提供一個(gè)具有凝聚力的信息視角。還能為文本語料庫的分析提供更高層次的可解釋性。知識(shí)圖譜的重要性不必多言，最近的GraphRAG又再一次將知識(shí)圖譜掀起高潮。1.1傳統(tǒng)知識(shí)圖譜構(gòu)建的問題傳統(tǒng)的命名實(shí)體識(shí)別、關(guān)系提取和實(shí)體解析...

一、背景本文中我們繼續(xù)介紹另一種非常常見的并行方案——流水線并行（PipelineParallelism）。二、MicrosoftPipelinedBP2.1摘要我們?cè)谥暗奈恼轮刑岬竭^，2012:ImageNetClassificationwithDeepConvolutionalNeuralNetworks中使用TensorParallelism在2個(gè)GPU上訓(xùn)練AlexNet。同一年，微軟的研究者開始使用PipelineParallelism訓(xùn)練語音識(shí)別模型CDDNNHMM（ContextDependentDeepNeuralNetworkHMM）。首先，作者提出了CDDNNHMM模型，...

一、結(jié)論寫在前面論文標(biāo)題：OLMoE:OpenMixtureofExpertsLanguageModels論文鏈接：??https:arxiv.orgpdf2409.02060??Weights：??https:hf.coallenaiOLMoE1B7B0924??Data：??https:hf.codatasetsallenaiOLMoEmix0924??Code：??https:github.comallenaiOLMoE??Logs：??https:wandb.aiai2llmolmoereportsOLMoE1B7B0924Vmlldzo4OTcyMjU3??論文開源了OLMoE1B7B和OLMoE1B7BINSTRUCT，包括模型、數(shù)據(jù)、代碼和日志。...

在普林斯頓大學(xué)金秋送爽的九月，一場(chǎng)跨越時(shí)空的對(duì)話正在上演。1999屆校友、人工智能教母李飛飛站在杰德溫體育館的講臺(tái)上，目光炯炯有神，聲音溫柔而堅(jiān)定。臺(tái)下坐滿了2024屆的新生，他們的眼中閃爍著對(duì)未知世界的好奇和期待。普林斯頓大學(xué)2024屆的新生"還記得25年前，我也像你們一樣坐在這里，滿懷夢(mèng)想又忐忑不安，"李飛飛微笑著說，眼角泛起一絲懷念，"那時(shí)的我，剛從中國(guó)來到美國(guó)沒多久，英語還說不利索，卻已經(jīng)開始?jí)粝胫?..