在檢索增強(qiáng)生成(RAG)技術(shù)成為企業(yè)級(jí)AI應(yīng)用核心架構(gòu)的2025年，阿里巴巴通義實(shí)驗(yàn)室開(kāi)源的Qwen3Embedding系列模型以70.58分登頂MTEB多語(yǔ)言排行榜，其80.68分的代碼檢索成績(jī)更超越GoogleGemini模型8.1%。這一技術(shù)突破背后蘊(yùn)含著從模型架構(gòu)到訓(xùn)練范式的全面創(chuàng)新，本文將深入技術(shù)底層，解析Qwen3Embedding如何通過(guò)多維度技術(shù)創(chuàng)新重塑文本嵌入與重排序技術(shù)格局。一、簡(jiǎn)介Qwen3Embedding是基于Qwen3基礎(chǔ)模型構(gòu)建的新一代文本嵌入與重排...

在Qwen3Embedding的技術(shù)體系中，數(shù)據(jù)生成模塊通過(guò)大模型驅(qū)動(dòng)的結(jié)構(gòu)化合成框架突破了傳統(tǒng)文本嵌入模型的訓(xùn)練數(shù)據(jù)瓶頸。這一創(chuàng)新不僅使模型在MTEB多語(yǔ)言排行榜以70.58分登頂，更在代碼檢索等專業(yè)領(lǐng)域?qū)崿F(xiàn)80.68分的突破。以下結(jié)合官方技術(shù)報(bào)告與開(kāi)源實(shí)踐，詳解數(shù)據(jù)生成的全流程技術(shù)細(xì)節(jié)。一、兩階段數(shù)據(jù)生成架構(gòu)：從語(yǔ)義建模到查詢生成1.1配置階段：三維語(yǔ)義空間定義Qwen3采用Qwen332B大模型為文檔生成結(jié)構(gòu)化語(yǔ)義配置，通過(guò)三大維...

一、Qwen3Embedding系列模型介紹二、Qwen3Reranker系列模型介紹三、Qwen3Embedding和Qwen3Reranker的優(yōu)勢(shì)6月6日凌晨，阿里巴巴開(kāi)源了Qwen3Embedding系列模型，包括Embedding（文本表征）和Reranker（排序）兩個(gè)模塊，旨在為文本檢索、語(yǔ)義匹配等任務(wù)提供強(qiáng)大支持。該系列模型基于Qwen3基礎(chǔ)模型進(jìn)行訓(xùn)練，在多項(xiàng)基準(zhǔn)測(cè)試中展現(xiàn)出卓越性能，尤其在多語(yǔ)言支持方面達(dá)到行業(yè)領(lǐng)先水平。官方數(shù)據(jù)顯示，Qwen3Embedding系列在多語(yǔ)言文本...

在大模型技術(shù)爆發(fā)的今天，AIAgent（人工智能代理）正成為連接技術(shù)與場(chǎng)景的核心樞紐。它不僅是提升效率的「智能助手」，更是解鎖復(fù)雜任務(wù)的「萬(wàn)能鑰匙」。本文結(jié)合多篇行業(yè)干貨，提煉出5種主流AIAgent模式，帶您看透智能時(shí)代的底層邏輯。一、AIAgent：重新定義人機(jī)協(xié)作的「智能體」簡(jiǎn)單來(lái)說(shuō)，AIAgent是基于大模型構(gòu)建的自主智能體，能像人類一樣「感知環(huán)境→規(guī)劃決策→執(zhí)行反饋」。核心特點(diǎn)：自主性：無(wú)需人工干預(yù)，自動(dòng)分解任務(wù)...

1.引言在人工智能領(lǐng)域，MultiAgent系統(tǒng)正逐漸成為解決復(fù)雜問(wèn)題、實(shí)現(xiàn)高效協(xié)作的關(guān)鍵技術(shù)。CrewAI作為一款強(qiáng)大的多Agent協(xié)作工具，為開(kāi)發(fā)者提供了便捷的方式來(lái)構(gòu)建智能協(xié)作系統(tǒng)。本文將詳細(xì)介紹如何基于CrewAI構(gòu)建MultiAgent系統(tǒng)。2.CrewAI核心概念詳解2.1代理（Agent）2.1.1Agent的定義與功能Agent是CrewAI中的自主單元，具備執(zhí)行任務(wù)、做出決策和與其他代理通信的能力。它們?nèi)缤瑘F(tuán)隊(duì)中的成員，各自承擔(dān)特定角色，如研究員、作...

今天給大家分享一個(gè)超厲害的庫(kù)——LLMReasoner，它就像給大模型開(kāi)了“智慧外掛”，能讓任何大語(yǔ)言模型（LLM）都像OpenAIo1和DeepSeekR1一樣深入思考！不管你是AI技術(shù)控，還是想提升大模型使用體驗(yàn)的小伙伴，都別錯(cuò)過(guò)～1.LLMReasoner是啥“寶藏”？LLMReasoner本質(zhì)是個(gè)庫(kù)，致力于打破大模型給出“黑箱答案”的局面。以往，大模型輸出結(jié)果時(shí)，咱根本不知道它是怎么思考的，就像拆盲盒，充滿未知。但有了LLMReasoner，這一切都變啦...

在大語(yǔ)言模型（LLMs）的訓(xùn)練領(lǐng)域，LowRankAdaptation（LoRA）技術(shù)堪稱一項(xiàng)重大突破。它就像給模型訓(xùn)練開(kāi)啟了一條“高速通道”，讓我們能更高效地為特定任務(wù)訓(xùn)練大語(yǔ)言模型。如今，LoRA在眾多應(yīng)用場(chǎng)景中廣泛使用，并且引發(fā)了一系列改進(jìn)研究，催生出了許多變體，這些變體從不同角度優(yōu)化LoRA，提升訓(xùn)練速度、性能，或者兩者兼得。今天，咱們就來(lái)深入了解一下LoRA及其家族成員的奧秘。1.LoRA：基礎(chǔ)概念與核心優(yōu)勢(shì)LoRA的核心做法是在...

在大語(yǔ)言模型（LLMs）的飛速發(fā)展進(jìn)程中，DeepSeekR1憑借出色的性能脫穎而出，吸引了無(wú)數(shù)目光。而它背后的“秘密武器”——GRPO（GroupRelativePolicyOptimization）強(qiáng)化學(xué)習(xí)算法，更是成為大家熱議的焦點(diǎn)。今天，咱們就用通俗易懂的方式，深入剖析一下這個(gè)讓DeepSeekR1大放異彩的GRPO算法！1.GRPO誕生的“前因后果”在大語(yǔ)言模型的微調(diào)環(huán)節(jié)，強(qiáng)化學(xué)習(xí)（RL）起著舉足輕重的作用。一直以來(lái)，近端策略優(yōu)化（PPO）算法都是LLM微調(diào)的...

MCP全稱是ModelContextProtocol，也就是模型上下文協(xié)議。可別小瞧它，它可不是“另一個(gè)類似API的東西”，要是你這么想，那說(shuō)明還沒(méi)真正get到它的精髓。說(shuō)起傳統(tǒng)API，大家應(yīng)該不陌生。它就像一套固定的工具套裝，通過(guò)固定和預(yù)定義的端點(diǎn)來(lái)提供功能，像常見(jiàn)的products（產(chǎn)品相關(guān)接口）、orders（訂單接口）、invoices（發(fā)票接口）這些。但這也帶來(lái)了不少麻煩。比如說(shuō)，你想給API添加新功能，就得新建端點(diǎn)或者修改現(xiàn)有端點(diǎn)。這一改...

大語(yǔ)言模型（LLM）正以前所未有的速度改變著我們的生活和工作方式。“awesomellmapps”這個(gè)精心策劃的倉(cāng)庫(kù)，為開(kāi)發(fā)者和研究者們提供了豐富多樣的大語(yǔ)言模型應(yīng)用示例。1.倉(cāng)庫(kù)概述“awesomellmapps”是一個(gè)匯聚了眾多使用檢索增強(qiáng)生成（RAG）和人工智能代理構(gòu)建的大語(yǔ)言模型應(yīng)用程序的倉(cāng)庫(kù)。它涵蓋了多種基于不同大語(yǔ)言模型構(gòu)建的應(yīng)用，包括OpenAI、Anthropic、Google的模型，以及DeepSeek、Qwen、Llama等開(kāi)源模型，并且用戶可以...

在當(dāng)今人工智能的浪潮中，RAG（檢索增強(qiáng)生成）技術(shù)大放異彩，像是RAGFlow、Qanything、Dify、FastGPT等RAG引擎，逐漸走進(jìn)大家的視野。在這些強(qiáng)大的RAG引擎背后，有一個(gè)關(guān)鍵組件起著不可或缺的作用，它就是嵌入模型（EmbeddingModel）。今天，就讓我們一起深入了解一下這個(gè)神秘的嵌入模型吧！1.Embedding究竟是什么？在了解嵌入模型之前，得先搞清楚Embedding的概念。簡(jiǎn)單來(lái)說(shuō)，Embedding是一種“神奇魔法”，能把離散的非結(jié)構(gòu)化...

大語(yǔ)言模型（LLM）的發(fā)展可謂日新月異。大家都知道，LLM的訓(xùn)練過(guò)程很復(fù)雜，其中有兩個(gè)關(guān)鍵階段：預(yù)訓(xùn)練和后訓(xùn)練。今天咱們就來(lái)深入聊聊在這一過(guò)程中發(fā)揮重要作用的近端策略優(yōu)化（PPO）算法和組相對(duì)策略優(yōu)化（GRPO）算法。這倆算法不僅在學(xué)術(shù)圈備受關(guān)注，在實(shí)際應(yīng)用中也有著舉足輕重的地位，理解它們，能讓你更懂LLM是如何一步步變得這么“聰明”的！一、從LLM訓(xùn)練說(shuō)起LLM的訓(xùn)練如同一場(chǎng)漫長(zhǎng)而復(fù)雜的旅程，主要分為預(yù)訓(xùn)練和后訓(xùn)...

DeepSeekR1模型的出現(xiàn)引起了廣泛關(guān)注，眾多開(kāi)源復(fù)現(xiàn)項(xiàng)目紛紛涌現(xiàn)（OpenR1、simpleRLreason、TinyZero、MiniR1等）。然而，受GPU條件的限制，有些小伙伴可能無(wú)法順利運(yùn)行這些項(xiàng)目。今天，我們就來(lái)介紹一個(gè)神奇的工具——UnslothAI，它可以幫助我們?cè)谟邢薜馁Y源下訓(xùn)練自己的DeepSeekR1推理模型，特別是通過(guò)GRPO（GroupRelativePolicyOptimization）技術(shù)，實(shí)現(xiàn)了資源的大幅降低。1.UnslothAI的神奇之處1.1GRPO技術(shù)簡(jiǎn)介GRPO是一種強(qiáng)...

嵌入（Embedding）技術(shù)作為基石，廣泛應(yīng)用于自然語(yǔ)言處理（NLP）、搜索引擎、推薦系統(tǒng)等多個(gè)關(guān)鍵領(lǐng)域，發(fā)揮著不可或缺的作用。盡管嵌入技術(shù)歷經(jīng)持續(xù)發(fā)展并取得諸多顯著成果，但傳統(tǒng)嵌入方法始終受困于模型規(guī)模龐大、計(jì)算資源消耗嚴(yán)重、推理速度遲緩等難題，這些問(wèn)題猶如枷鎖，限制了其進(jìn)一步的拓展與應(yīng)用。在此背景下，Model2Vec的全新嵌入技術(shù)為行業(yè)帶來(lái)了突破性的解決方案。它憑借創(chuàng)新性的設(shè)計(jì)，成功實(shí)現(xiàn)了嵌入模型規(guī)模縮小15...

1.背景大型推理模型如OpenAIo1、QwenQwQ等通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)，在科學(xué)、數(shù)學(xué)、編碼等復(fù)雜領(lǐng)域展現(xiàn)出了強(qiáng)大的逐步推理能力。它們以“慢思考”模式生成長(zhǎng)思維鏈條，有效解決復(fù)雜問(wèn)題，增強(qiáng)了推理的邏輯性和可解釋性。然而，這也帶來(lái)了顯著弊端，在長(zhǎng)鏈?zhǔn)酵评磉^(guò)程中，模型常常遭遇知識(shí)不足的困境。這使得推理鏈條容易出現(xiàn)錯(cuò)誤傳播，嚴(yán)重影響最終答案的質(zhì)量。例如，在處理一些復(fù)雜的科學(xué)問(wèn)題時(shí)，模型可能會(huì)因?yàn)閷?duì)某些關(guān)鍵知識(shí)點(diǎn)的缺...

2024年，AIAgents成為熱門概念，2025年則有望成為其爆發(fā)元年。AIAgents在企業(yè)場(chǎng)景中的應(yīng)用日益廣泛，但在落地過(guò)程中也面臨著諸多挑戰(zhàn)。本文將基于Langbase的研究報(bào)告，探討AIAgents的發(fā)展現(xiàn)狀，包括LLM提供商的選擇、應(yīng)用場(chǎng)景、落地制約因素以及所需的配套基建等方面。1.研究背景與參與者Langbase對(duì)來(lái)自100多個(gè)國(guó)家的3400多位專業(yè)人士進(jìn)行了調(diào)查，涵蓋C級(jí)高管（46%）、工程師（26%）、客戶支持（17%）、市場(chǎng)營(yíng)銷（8%）、IT（3%...

1.LLMAgent是什么大語(yǔ)言模型智能體是一種程序，其執(zhí)行邏輯由其底層模型控制。大語(yǔ)言模型智能體與少樣本提示或固定工作流程等方法的區(qū)別在于，它能夠定義和調(diào)整執(zhí)行用戶查詢所需的步驟。通過(guò)使用一組工具（如代碼執(zhí)行或網(wǎng)絡(luò)搜索），智能體可以決定使用哪個(gè)工具、如何使用它，并根據(jù)輸出對(duì)結(jié)果進(jìn)行迭代。這種適應(yīng)性使系統(tǒng)能夠以最小的配置處理各種用例。智能體架構(gòu)存在于一個(gè)范圍內(nèi)，從固定工作流程的可靠性到自主智能體的靈活性...