AI.x社區
- 登錄/注冊
掌握BERT：自然語言處理 （NLP） 從初級到高級的綜合指南
1.什么是BERT？在不斷發展的自然語言處理（NLP）領域，一項名為BERT的突破性創新已經出現，改變了游戲規則。BERT代表BidirectionalEncoderRepresentationsfromTransformers，不僅僅是機器學習術語海洋中的另一個首字母縮略詞。它代表了機器理解語言方式的轉變，使它們能夠理解使人類交流豐富而有意義的錯綜復雜的細微差別和上下文依賴關系。2.為什么BERT很重要？想象一句話：“她拉小提琴的時候很漂亮。傳統的語言模型會從左到...自然語言NLPBERT兩篇論文：面向AI/ML集群的高性能網絡傳輸協議優化研究
FASTFLOW:FlexibleAdaptiveCongestionControlforHighPerformanceDatacentersFASTFLOW：針對高性能數據中心的靈活自適應擁塞控制??https:arxiv.orgabs2404.01630??發表時間：2024年9月20日一、問題背景現代數據中心，特別是運行大規模AI訓練和HPC應用的數據中心，對網絡性能的要求越來越高。這些工作負載通常會產生突發性的、同步的流量，對傳統的擁塞控制算法提出了挑戰。現有擁塞控制算法的不足：基于延遲的算法：如Swift...AI/ML集群網絡傳輸【人工智能】10分鐘解讀-深入淺出大語言模型（LLM）——從ChatGPT到未來AI的演進
精華一、前言2022年底，OpenAI推出的聊天機器人ChatGPT一經上線，便迅速引發了全球范圍內的熱議與追捧。僅在上線五天內，注冊用戶便突破了百萬大關。ChatGPT的成功不僅展示了大語言模型（LLM）的強大能力，也標志著人類正式邁入了一個全新的人工智能時代。本文將以ChatGPT為切入點，回顧GPT模型的發展歷程，深入解析大語言模型（LLM）的構成及其工作原理。同時，我們將涵蓋自然語言處理（NLP）、深度學習、Transformer等相關知識，...LLMChatGPT語言模型ChatGPT 的“絕世神功”，是如何練成的？
最近，OpenAI的預訓練模型ChatGPT給人工智能領域的研究人員留下了深刻的印象和啟發。毫無疑問，它又強又聰明，且跟它說話很好玩，還會寫代碼。它在多個方面的能力遠遠超過了自然語言處理研究者們的預期。于是我們自然就有一個問題：ChatGPT是怎么變得這么強的？它的各種強大的能力到底從何而來？本篇文章試圖剖析ChatGPT的突現能力（EmergentAbility），追溯這些能力的來源，希望能夠給出一個全面的技術路線圖，來說明GPT3.5模...ChatGPTGPT-3GPT-3.5Crawl4AI：AI驅動的網頁抓取神器，結合LLM實現自動化數據提取與處理
精華我們將介紹Crawl4AI以及如何利用它來從不同網站或互聯網上的其他任何地方爬取和抓取數據，只要該網站支持抓取或爬取功能。當我們與ChatGPT一起工作，構建可以連接互聯網外部數據源的Rag系統時，爬取和抓取數據就變得非常重要，因為你需要抓取并獲取外部數據、實時數據或現實世界的數據，我們通常在這一過程中遇到困難。我將介紹一個名為Crawl4AI的開源工具，這是一個GitHub上的開源項目，任何人都可以使用，只需幾行代碼，你就...Crawl4AIAI驅動OpenAI 的秘密武器：草莓和獵戶座
OpenAI的新戰略泄露，揭示了他們正在開發兩個強大的新模型：草莓和獵戶座，這兩者都將推動人工智能領域的巨大進步。本文將深入分析OpenAI的戰略，解讀這些模型背后的技術，以及它們可能帶來的潛在影響。人工智能的困境：推理能力的缺失大型語言模型(LLM)的能力常常被描述為“黑魔法”，但實際上它們只是基于一個簡單的原理：模式匹配。它們只是在訓練過程中學習了數據中的模式，并根據這些模式進行預測。然而，這種模式匹配能力...OpenAI新模型人工智能什么是生成式大模型？大模型與生成式大模型的區別？
原創?“生成式AI或者說AIGC的本質是一種基于概率分布的數據表征技術”最近一段時間一直在做AIGC(人工智能生成內容)方面的應用，而AIGC屬于生成式AI的范疇；剛開始只是把這些生成式AI拿過來用一下，但隨著對大模型了解的加深，突然發現生成式AI好像也沒有那么簡單。比如說，生成式AI是怎么實現的？可能有人會這么回答，是基于Transformer等架構實現，基于概率分布的一種模型。當然，這么說好像也沒錯，但非生成式AI又是怎么實現的呢...模型概率分布開發一款大模型需要經過哪些步驟？開發一款大模型的完整流程
原創?“打造一款模型是一件非常復雜的事情，設計的問題也非常非常多，因此大家要做好心理準備”這段時間寫的文章主要都在講大模型的應用問題，以及自己在工作中遇到的一些問題；而今天我們就從大模型服務的角度，來思考一下打造一款大模型需要經過哪些步驟，也就是怎么打造一款大模型。怎么打造一款大模型？可能不同的人對大模型有不同的理解，不同的企業實現大模型的方式可能也不太一樣；但其大體上的步驟和過程還是差不多的。打...大模型設計大模型技術在家中完成LLM微調高效指南（上）
原創 精華編輯言征出品51CTO技術棧（微信號：blog51cto）LLM在生成文本和理解信息方面非常有效，但它們最終受限于訓練數據的語料庫。例如，如果你讓一個通用的預訓練模型回答與你的業務特定流程或操作有關的問題，最好的結果是它拒絕，最壞的情況是它會信誓旦旦地給出一個看似合理但錯誤的答案。當然，你可以通過自己訓練一個模型來解決這個問題，但所需的資源往往超出實際可行的范圍。例如，訓練Meta的相對小的Llama38B模型需要約130萬G...LLM微調GPUDeepSeek AI發布Janus：一款擁有圖像生成能力的1.3B多模態模型
原創01、概述在當今人工智能的浪潮中，多模態模型的崛起為我們帶來了前所未有的創新可能性。最近，DeepSeekAI推出了其最新力作——Janus，這是一款具備強大圖像生成能力的多模態模型，擁有13億參數。這款模型的問世，將進一步推動AI在多個領域的應用，本文將帶您深入了解Janus的獨特之處及其廣泛的應用前景。02、JanusJanus的命名靈感源于羅馬神話中的雙面神Janus，象征著過渡與共存。這一命名不僅體現了模型的雙重功能，還反映了其...大預言模型深度解析 REAcT Agent 的實現：利用 LlamaIndex 和 Gemini 提升智能代理工作流
原創 精華01、概述在過去的兩三年中，人工智能領域經歷了令人矚目的發展，尤其是在大語言模型、擴散模型和多模態技術等方面。其中，我對智能代理工作流產生了濃厚的興趣。今年初，Coursera的創始人、深度學習先鋒AndrewNg發了一條推特：“智能工作流將推動今年的AI巨大發展”。自那時起，智能代理領域的進展令人驚嘆，許多人開始構建自主代理和多代理架構。02、什么是REAcT提示？REAcT代表Reasoning（推理）、Acting（行動）和Thinking（...Agent使用結構化和非結構化數據增強大型語言模型(LLM)
原創01、概述在過去的幾年中，大型語言模型（LLMs）引領了人工智能領域的革命。然而，盡管這些模型在理解和生成語言方面表現出色，它們仍然存在一些固有的局限性。主要包括知識截止日期帶來的信息更新滯后、生成貌似正確但實際上錯誤的信息，以及知識庫中可能存在的不準確信息和偏見。這些問題使得我們必須尋找解決方案，以提升LLMs的性能，特別是在特定領域的應用上。02、LLM的微調（FineTuning）為了應對上述問題，微調LLM是一種...大預言模型人工智能什么是多模態AI 如何融合和對齊？
原創近年來，大型語言模型LargeLanguageModels（LLM）的研究取得了顯著的進展（例如GPT3，LLaMa，ChatGPT，GPT4），這些模型在各項自然語言處理（NLP）任務上展現了出色的性能。通過在海量數據上預訓練，LLM獲得了豐富的知識以及強大的推理能力。只需要輸入一些用戶指令，這些模型就可以解析指令、進行推理并給出符合用戶預期的回答。這些能力背后蘊含著眾多關鍵思想和技術，包括指令微調（InstructionTuning），上下文學習（InCont...人工智能大模型多模態你的LoRA需要更新了！科大訊飛等提出MiLoRA：新穎且高效的LoRA變體
論文鏈接：https:arxiv.orgpdf2410.18035低秩適應（LoRA）及其專家混合（MOE）變體是非常有效的參數高效微調（PEFT）方法。然而，由于在Transformer層中添加了LoRA模塊和MOErouters，這些方法在多租戶環境中引入了顯著的延遲。為了解決這個問題，本文提出了低秩適應的混合（MiLoRA），一種新穎且高效的LoRA變體。MiLoRA與之前的MOE風格LoRA方法不同之處在于將每個LoRA模塊視為一個專家，并采用了一種基于提示的router機制。該機...模型訓練OpenAI奧特曼最新對話：將很快進入智能體階段；OpenAI最初三個目標一個已失效；智慧和能源可解鎖AGI
原創編輯言征出品51CTO技術棧（微信號：blog51cto）2025，OpenAI會有哪些動作？SamAltman定下了哪些目標？如何看待自“宮斗”后相創始員工離職潮，以及大模型創業公司的壁壘和未來在哪里？近日，YC總裁GarryTan與OpenAICEOSamAltman展開了一場創業對話，Sam回憶了自己當年險些被YC創始人拒之門外的那場趣談，強調了當前AI技術的發展還遠未達到頂峰，當然也提及了當下OpenAI正處于轉型過度期的陣痛，不過在Sam看來，OpenAI已經找到了...OpenAI奧特曼AGI最小化的遞歸神經網絡RNN為Transformer提供了快速高效的替代方案
原創本文介紹了長短期記憶網絡（LSTM）和門控循環單元（GRU）這兩種流行的RNN變體的最小化版本——minLSTM和minGRU，這兩個模型在訓練期間可以完全并行，并且使用的參數顯著減少，使它們成為Tansformer的快速和有效的替代方案。Transformer如今已經成為大型語言模型（LLM）和其他序列處理應用程序的主要架構。然而，它們固有的二次方計算復雜性成為了將Transformer擴展至超長序列時的巨大障礙，顯著增加了成本。這引發了人們對具有...神經網絡大型語言模型LLM《解讀論文：A Simple Framework for Contrastive Learning of Visual Representations》
謝邀，人在美國，剛下飛機。最近讀到一篇很有價值的論文《ASimpleFrameworkforContrastiveLearningofVisualRepresentations》，下面就為大家詳細解讀一下這篇論文。一、論文背景與概述在計算機視覺領域，學習有效的視覺表示一直是一個核心問題。傳統的有監督學習方法需要大量的標注數據，而獲取標注數據往往是昂貴和耗時的。對比學習作為一種無監督學習方法，近年來受到了廣泛關注。本文提出了一個簡單的對比學習框架，旨在從大...機器視覺一篇大模型RAG最新綜述
好久沒分享過綜述了，今天分享一個最新的RAG綜述，來自卡內基梅隆大學。標題：AComprehensiveSurveyofRetrievalAugmentedGeneration(RAG):Evolution,CurrentLandscapeandFutureDirections1.引言1.1RAG技術概述檢索增強生成技術（RAG）主要由兩個關鍵部分構成：其一是檢索組件，主要職責是從外部數據庫（如維基百科或私有庫）中提取相關信息，通過密集向量表征進行文檔識別；其二是生成組件，基于transformer結構，對獲取的信息...RAG大模型檢索探索 Zerox OCR：創新引領光學字符識別新境界
在數字化信息飛速發展的當今時代，光學字符識別（OCR）技術成為了連接紙質與數字世界的重要橋梁。它能夠將各種文檔中的文字快速準確地轉換為可編輯的電子文本，極大地提高了工作效率和信息利用價值。在眾多OCR工具中，ZeroxOCR以其獨特的特性和優勢脫穎而出，為用戶帶來了全新的體驗和更高的效率。本文將深入探討ZeroxOCR的相關內容，包括其原理、特點、應用場景等。一、ZeroxOCR的基本原理ZeroxOCR的核心原理是利用先進的技術...ZeroxOCR字符Agent也有快慢腦了！這次真的不一樣
在與用戶進行自然對話交互時，智能體需要完成兩個核心任務：一是進行對話交流，二是執行推理與規劃。智能體在對話過程中，需要綜合利用所有可獲取的信息來做出回應，同時其行為要始終圍繞目標展開。這種對話交互與多步推理規劃的雙重模式，與卡尼曼所描述的人類快速和緩慢思維系統頗為相似。基于這一理念，DeepMind團隊開發了一個雙系統框架，稱為TalkerReasoner，旨在模仿人類的這兩種思維模式。為了實現智能體與用戶之間的自...Agent智能體Talker
