整理言征出品51CTO技術(shù)棧（微信號：blog51cto）大型語言模型的競爭似乎正在結(jié)束，只有少數(shù)幾個(gè)明顯的贏家。其中，DeepSeekV3已成為2024年的焦點(diǎn)，引領(lǐng)中國開源模型的發(fā)展。據(jù)HuggingFace稱，DeepSeekV3與GPT4和Claude3.5等閉源巨頭正面交鋒，上個(gè)月的下載量為45,499次，與Meta的Llama3.1（491,629次下載）和谷歌的Gemma2（377,651次下載）并駕齊驅(qū)。但并非今年推出的所有LLM都能乘風(fēng)破浪——有些失敗了，盡管前景光明，但未能引...

編輯言征出品51CTO技術(shù)棧（微信號：blog51cto）1月23日，在冬季達(dá)沃斯論壇的“辯論技術(shù)”環(huán)節(jié)，Meta公司副總裁兼首席人工智能科學(xué)家YannLecun、麻省理工學(xué)院媒體實(shí)驗(yàn)室主任DavaNewman、Axios首席技術(shù)記者InaTurpenFried（主持人）就未來十年前沿科技進(jìn)行了時(shí)長47分鐘的“全民”大討論，話題涵蓋了LLM、智能體、消費(fèi)機(jī)器人、腦機(jī)接口、跨物種、太空探索，也討論了非常讓Meta敏感的“技術(shù)作惡”、審查監(jiān)管、開閉源之爭。觀眾們更...

雖然大模型取得突破性進(jìn)展，但其在多語言場景下仍具有局限性，存在很大的改善空間。那么，大模型多語言能力到底什么水平？其發(fā)展又存在什么樣的挑戰(zhàn)？來自北京交通大學(xué)、加拿大蒙特利爾大學(xué)、加拿大滑鐵盧大學(xué)和清華大學(xué)的研究團(tuán)隊(duì)發(fā)表了題為”ASurveyonLargeLanguageModelswithMultilingualism:RecentAdvancesandNewFrontiers”（大模型的多語言能力綜述）的論文，全面回顧了大模型在多語言能力上的最新進(jìn)展與未來發(fā)展方向。論...

編者按：人工智能真的已經(jīng)遇到發(fā)展瓶頸了嗎？隨著OpenAI、Google和Anthropic等頂級AI公司紛紛表示新模型開發(fā)收益在減少，這個(gè)問題引發(fā)了整個(gè)行業(yè)的深度思考。我們今天為大家?guī)淼倪@篇文章，作者的核心觀點(diǎn)是：雖然傳統(tǒng)的模型規(guī)模擴(kuò)展策略正在遭遇瓶頸，但這可能正是AI發(fā)展模式轉(zhuǎn)型的重要契機(jī)。文章從多個(gè)維度深入剖析了當(dāng)前AI發(fā)展面臨的挑戰(zhàn)：首先，訓(xùn)練數(shù)據(jù)的增長已接近極限，因?yàn)?ldquo;我們只有一個(gè)互聯(lián)網(wǎng)”；其次，簡單地增加模...

編者按：在大語言模型時(shí)代，你是否也在為評估方法感到困惑？當(dāng)開發(fā)周期越來越快，傳統(tǒng)的評估思維卻步履維艱——新版本剛上線，評估指標(biāo)就失效了；想要建立長期基準(zhǔn)測試，卻總是事與愿違；人工評估成本高昂，全自動(dòng)評估又難盡人意...我們今天為大家?guī)淼倪@篇文章，作者認(rèn)為在LLM時(shí)代，我們需要對評估體系進(jìn)行根本性的范式轉(zhuǎn)變，而不是簡單地沿用傳統(tǒng)機(jī)器學(xué)習(xí)的評估方法。文章從作者在Quora、Waymo等公司的一線實(shí)踐經(jīng)驗(yàn)出發(fā)，提...

01、概述在當(dāng)今競爭激烈的商業(yè)環(huán)境中，人工智能（AI）已經(jīng)從一種奢侈品轉(zhuǎn)變?yōu)楸匦杵贰o論是企業(yè)希望提升運(yùn)營效率，還是開發(fā)者想要打造前沿產(chǎn)品，深入理解AI技術(shù)棧都顯得至關(guān)重要。它不僅能幫助我們構(gòu)建革命性的智能應(yīng)用，還能在激烈的市場競爭中脫穎而出。今天，就讓我們深入探索AI技術(shù)棧的奧秘，一窺究竟。02、AI技術(shù)棧的分層架構(gòu)AI技術(shù)棧是一個(gè)由多個(gè)相互依賴的層級組成的結(jié)構(gòu)框架，每一層都承擔(dān)著確保系統(tǒng)高效運(yùn)行的關(guān)鍵功...

01、概述在現(xiàn)代數(shù)據(jù)庫類型中，盡管關(guān)系型數(shù)據(jù)庫（RelationalDB）、NoSQL數(shù)據(jù)庫和圖數(shù)據(jù)庫（GraphDB）各有千秋，但在RAG（RetrievalAugmentedGeneration）系統(tǒng)中，VectorDB卻成為首選。它不僅支持水平擴(kuò)展，還能結(jié)合CRUD操作（Create,Read,Update,Delete）提供元數(shù)據(jù)過濾功能，大幅提升數(shù)據(jù)檢索效率和智能性。本文將帶你全面解析VectorDB，從基礎(chǔ)概念、工作原理到查詢加速的核心算法，幫助你更好地理解其強(qiáng)大功能及在RAG管道中的...

01、概述近年來，大型語言模型（LLMs）在自然語言處理領(lǐng)域取得了令人矚目的進(jìn)展。它們在文本理解、生成和邏輯推理等任務(wù)中表現(xiàn)卓越。然而，面對復(fù)雜推理任務(wù)時(shí)，這些模型仍然存在諸多挑戰(zhàn)。例如，依賴大規(guī)模監(jiān)督微調(diào)的方式雖然提升了模型性能，但限制了其可擴(kuò)展性和通用性。此外，如何平衡推理的復(fù)雜性、計(jì)算效率和結(jié)果可讀性，依然是研究者們需要攻克的難題。在這一背景下，DeepSeekAI團(tuán)隊(duì)帶來了令人耳目一新的解決方案——Dee...

如今，內(nèi)容審核已經(jīng)成為各類數(shù)字平臺的重要組成部分，堪稱用戶信任與安全保障的前提。盡管人工審核能夠處理部分任務(wù)，但隨著平臺規(guī)模的擴(kuò)展，AI驅(qū)動(dòng)的實(shí)時(shí)審核變得愈發(fā)重要。機(jī)器學(xué)習(xí)（ML）驅(qū)動(dòng)的系統(tǒng)能夠成規(guī)模且高效開展內(nèi)容審核，同時(shí)將再訓(xùn)練與運(yùn)營成本降低至最低。本份指南將為你概述部署AI驅(qū)動(dòng)型實(shí)時(shí)審核系統(tǒng)的方法。實(shí)時(shí)審核系統(tǒng)的核心屬性實(shí)時(shí)內(nèi)容審核系統(tǒng)負(fù)責(zé)評估用戶提交的內(nèi)容（文本、圖像、視頻或其他格式的數(shù)據(jù)）...

出品51CTO技術(shù)棧（微信號：blog51cto）前天，OpenAI最大的產(chǎn)品經(jīng)理，首席產(chǎn)品官Weil剛劇透智能體Q1就發(fā)出。一轉(zhuǎn)頭，今天就把Operator推出來了？？？意料之外的速度快啊！不過，Weil在《華爾街日報(bào)》接受的這場采訪仍然值得一看。記者的問題相當(dāng)全面，基本把ChatGPT2025年的路線圖“逼問”出來了——包括新模型和智能體計(jì)劃——同時(shí)預(yù)測了計(jì)算能力、智能和監(jiān)管的未來。當(dāng)然，Weil還討論了時(shí)下最熱的星際之門計(jì)劃——為什么OpenAI...

KwaiCoder23BA4v1是快手Kwaipilot團(tuán)隊(duì)最新開源的自研代碼續(xù)寫大模型，模型的訓(xùn)練依托于Kwaipilot團(tuán)隊(duì)提出的一種高效的模型訓(xùn)練方案。通過結(jié)合模型剪枝、知識蒸餾、細(xì)粒度合并等技術(shù)，相比傳統(tǒng)方法以130的成本完成了23B寬MoE架構(gòu)代碼續(xù)寫模型的訓(xùn)練，并在多個(gè)代碼領(lǐng)域評測集上實(shí)現(xiàn)了新的SOTA。開源地址：??https:huggingface.coKwaipilotKwaiCoder23BA4Bv1??我們的路徑：高質(zhì)量數(shù)據(jù)：我們強(qiáng)調(diào)篩選和整理高質(zhì)量代碼、文本與合...

“神經(jīng)網(wǎng)絡(luò)本質(zhì)上只是一種技術(shù)工具，在實(shí)際應(yīng)用中需要根據(jù)不同的任務(wù)類型設(shè)計(jì)不同的神經(jīng)網(wǎng)絡(luò)模型”在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的過程中，我們了解到神經(jīng)網(wǎng)絡(luò)是一種技術(shù)手段；但如果要使用神經(jīng)網(wǎng)絡(luò)解決具體問題，還需要把神經(jīng)網(wǎng)絡(luò)技術(shù)與具體的問題相結(jié)合；因此就誕生了神經(jīng)網(wǎng)絡(luò)的兩大主要任務(wù)類型，自然語言處理——NLP和計(jì)算機(jī)視覺——CV。但一直說自然語言處理，那么自然語言處理到底能做哪些事情，它解決了哪些問題？這個(gè)就是我們今天要討...

“神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)，具體任務(wù)是具體任務(wù)，不能混為一談”學(xué)習(xí)了一段時(shí)間神經(jīng)網(wǎng)絡(luò)技術(shù)之后發(fā)現(xiàn)對很多東西理解還不夠深刻，所以今天就來梳理一下神經(jīng)網(wǎng)絡(luò)的技術(shù)棧，深入了解一下不同的工具在神經(jīng)網(wǎng)絡(luò)中所處的位置，以及其扮演的角色。先說一句廢話，神經(jīng)網(wǎng)絡(luò)僅僅只是神經(jīng)網(wǎng)絡(luò)，它不涉及具體的任務(wù)，只是一個(gè)神經(jīng)網(wǎng)絡(luò)模型；神經(jīng)網(wǎng)絡(luò)要解決實(shí)際問題就需要和不同的任務(wù)領(lǐng)域相結(jié)合。神經(jīng)網(wǎng)絡(luò)技術(shù)棧要了解或者說要學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，首...

論文鏈接：https:arxiv.orgpdf2501.12375git鏈接：https:videodepthanything.github.io亮點(diǎn)直擊開發(fā)了一種新方法，將“DepthAnything”轉(zhuǎn)換為“視頻DepthAnything”，用于任意長度視頻的深度估計(jì)。提出了一種簡單而有效的損失函數(shù)，該函數(shù)在不引入幾何或生成先驗(yàn)的情況下，強(qiáng)制執(zhí)行時(shí)間一致性約束。該模型不僅在視頻深度估計(jì)中（空間和時(shí)間上）獲得了新的SOTA（最先進(jìn)技術(shù)），而且在計(jì)算效率上也是最高的。總結(jié)速覽解決的問題De...

編輯言征出品51CTO技術(shù)棧（微信號：blog51cto）10個(gè)月過去，世界“首位AI程序員”究竟如何了？近日，Answer.AI團(tuán)隊(duì)中經(jīng)常試驗(yàn)AI開發(fā)工具的測試團(tuán)隊(duì)秉著“百聞不如一見”的精神，與最受Twitter追捧的編程神器共事了一個(gè)月，結(jié)果非常慘烈。“作為Answer.AI團(tuán)隊(duì)中經(jīng)常試驗(yàn)AI開發(fā)工具的一員，Devin給人的感覺有些不同。如果它能實(shí)現(xiàn)承諾的一半，它就能改變我們的工作方式。但盡管Twitter上充滿了熱情，我們卻找不到太多關(guān)于人們實(shí)際...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）起猛了！ChatGPT有行動(dòng)能力了！OpenAI的首款智能體深夜上線，覺醒L3能力。在直播中，他們這樣解讀這件大事的意義：智能體可以在數(shù)字世界中移動(dòng)和行動(dòng)，消除了通往AGI（人工通用智能）道路上的一個(gè)瓶頸！說回Operator：AI不只能和你交流，還能幫你在線打醬油了。奧特曼是這樣介紹的：“就像您使用web瀏覽器一樣，你可以獲取像素，你可以看著屏幕，Operator可以做到這一點(diǎn)，然后控制...

以開源技術(shù)挑戰(zhàn)領(lǐng)先AI供應(yīng)商而聞名的中國AI初創(chuàng)公司DeepSeek又投下了一顆重磅炸彈：一款名為DeepSeekR1的新型開源推理大語言模型（LLM）。除了在基準(zhǔn)測試中性能幾乎與OpenAI的o1相匹配外，新的DeepSeekR1成本也非常低。具體來說，OpenAIo1每百萬輸入令牌成本為15美元，每百萬輸出令牌成本為60美元，而基于R1模型的DeepSeekReasoner每百萬輸入令牌成本為0.55美元，每百萬輸出令牌成本為2.19美元。開源DeepSeekR1采用純強(qiáng)化學(xué)習(xí)達(dá)...

1.Cline簡介Cline是一款結(jié)合了AI助手與VSCode的智能工具，旨在通過其深度集成的能力協(xié)助開發(fā)者完成復(fù)雜的軟件開發(fā)任務(wù)。從創(chuàng)建與編輯文件到執(zhí)行終端命令，Cline借助Claude3.5Sonnet的代理編程能力，將開發(fā)者從繁瑣的手動(dòng)任務(wù)中解放出來。同時(shí)，它通過ModelContextProtocol(MCP)支持?jǐn)U展能力，可以為用戶創(chuàng)建新的工具，進(jìn)一步提升開發(fā)效率。Cline還注重安全性，提供“人類審核”的交互模式，確保每一次更改和命令都獲得用戶批準(zhǔn)...

Dropout現(xiàn)在這個(gè)操作在目前這個(gè)深度學(xué)習(xí)時(shí)代中是非常常見的一個(gè)操作。對于Dropout的好處我們也聽過很多，降低過擬合，提高模型的魯棒性，控制模型復(fù)雜度等blabla。。但我比較好奇的是，Dropout是怎么實(shí)現(xiàn)以上好處，經(jīng)過一番了解，簡單描述下。Dropout實(shí)際上我們可以先理解成給予Network結(jié)構(gòu)中的一種噪音，但是我們這個(gè)噪音不是隨便給，是有一定數(shù)學(xué)理論支撐，我們是選擇無偏差地往網(wǎng)絡(luò)結(jié)構(gòu)中加入噪音。通常來說，訓(xùn)練的時(shí)候才需...

本篇文章來自Anthropic，我用大模型給翻譯了一下，以下是全文。過去一年里，我們與數(shù)十個(gè)團(tuán)隊(duì)合作，跨行業(yè)構(gòu)建大型語言模型（LLM）智能體。通常，最成功的實(shí)施案例并不是使用復(fù)雜的框架或?qū)ｉT的庫。相反，它們是用簡單、可組合的模式來構(gòu)建的。在這篇文章中，我們分享了從與客戶合作及自行構(gòu)建智能體中學(xué)到的經(jīng)驗(yàn)，并為開發(fā)者提供了構(gòu)建高效智能體的實(shí)用建議。什么是智能體？“Agent”可以通過多種方式定義。一些客戶將智能體定...