作者JamesThomason編譯伊風出品51CTO技術棧（微信號：blog51cto）眨眼之間，你可能會錯過又一種編程語言的發明。有個笑話說，程序員花費20%的時間編寫代碼，80%的時間決定使用什么語言。事實上，編程語言如此之多，以至于我們不確定實際有多少種。據估計，至少有700種編程語言在不同程度上被使用和濫用。現在存在的編程語言似乎總有改進的空間。隨著AI不斷推動技術進步，它也在挑戰我們最流行的編程語言，如Java、C和Python。像...

隨著深度學習的快速發展，許多研究者們開始嘗試利用深度神經網絡解決多標簽圖像識別（MultilabelImageRecognition,MLR）任務，并已取得了不俗的進展。但是，由于圖像本身和潛在標簽類別的復雜性，收集滿足現有模型訓練的多標簽標注信息往往成本高昂且難以拓展，導致現有的大部分多標簽圖像識別模型難以在現實應用場景中落地。因此，近年來許多研究者開始致力于探索標注受限情況下的多標簽圖像識別（MultilabelImageRecognitionw...

諾貝爾獎主要頒給那些為人類做出巨大貢獻的人，我國的屠呦呦就因發現青蒿素在2015年獲得諾貝爾醫學獎。Alphafold不是某個人類科學家，它是GoogleDeepMind開發的一個深度學習模型，它能夠預測蛋白質結構。把諾獎頒給一個模型，你可能會覺得我危言聳聽了，但如果你了解蛋白質結構的作用，你肯定會改變想法了。一、蛋白質合成過程在此之前還是先簡單了解下蛋白質的合成過程。蛋白質是由氨基酸序列組成的，人體內有21種氨基酸種類，...

前面我們通過LLM+向量數據庫搭建了RAG，然后又將LLM和外部組件協作構建了Agent。LLM作為AI的一個細分領域，LLM+也和AI+一樣正在重塑各行業。今天，我們來看看LLM和傳統機器學習能碰撞出什么火花。我們都知道，機器學習模型擅長從數據中發掘潛在模式，大語言模型擅長自然語言理解與生成。但傳統機器學習算法依賴人的經驗去做特征工程，模型選擇，調參等。那能否借助LLM的理解和生成能力去彌補傳統機器學習的不足呢？這種融合新范...

本文作者袁鐿博士是騰訊公司專家工程師，負責無量系統和一念LLM等機器學習訓練和推理框架研發。以OpenAI的GPT系列模型為代表的大語言模型（LLM）掀起了新一輪AI應用浪潮，但是LLM推理的高昂成本一直困擾著業務團隊。騰訊PCG機器學習平臺中心自研了高性能LLM推理引擎：一念LLM。在傳統的算子融合，ContinousBatching等推理加速技術的基礎上，通過顯存優化，異步調度和計算復用等技術，在相同精度的推理中，一念LLM相比vLLM，Tens...

在AI領域，擴展定律（Scalinglaws）是理解LM擴展趨勢的強大工具，其為廣大研究者提供了一個準則，該定律在理解語言模型的性能如何隨規模變化提供了一個重要指導。但不幸的是，擴展分析在許多基準測試和后訓練研究中并不常見，因為大多數研究人員沒有計算資源來從頭開始構建擴展法則，并且開放模型的訓練尺度太少，無法進行可靠的擴展預測。來自斯坦福大學、多倫多大學等機構的研究者提出了一種替代觀察法：可觀察的擴展定律（Ob...

一、人機交互發展史先簡單了解下人機交互的歷史。打孔卡命令行（CLI）圖形用戶界面（GUI）ARVRMR語音助手像Siri，小愛同學等語音助手雖然也能通過自然語言交互，只能打開某個應用，或者搜索互聯網，一般不能理解UI中的元素。二、ScreenAI：多模態大模型谷歌近期推出多模態大模型ScreenAI，帶來人機界面交互新方式。ScreenAI不僅能夠理解UI上的元素，還具有推理能力，并且能根據用戶指令與UI進行交互。項目主頁：https:research....

TransparencyTool是facebook開源的大語言模型可視分析工具，用于分析基于Transformer架構的語言模型。源碼：https:github.comfacebookresearchllmtransparencytool技術報告：https:arxiv.orgpdf2404.07004.pdf一、淺談原理Transformer是由多個注意力塊堆疊而成，每個注意力塊視為一層，每個層包含一個多頭注意力層和一個前饋網絡。token向量在注意力層中，向量之間能夠相互交流，并根據彼此信息更新自身的值；在前饋網絡中，向...

當我們拿起一個機械手表時，從正面會看到表盤和指針，從側面會看到表冠和表鏈，打開手表背面會看到復雜的齒輪和機芯。每個視角都提供了不同的信息，將這些信息綜合起來才能理解操作對象的整體三維。想讓機器人在現實生活中學會執行復雜任務，首先需要使機器人理解操作對象和被操作對象的屬性，以及相應的三維操作空間，包括物體位置、形狀、物體之間的遮擋關系，以及對象與環境的關系等。其次，機器人需要理解自然語言指令，對...

論文鏈接：https:arxiv.orgpdf2405.12970項目鏈接：https:faceadapter.github.iofaceadapter.github.io當前的面部重演和交換方法主要依賴于GAN框架，但最近的研究重點已轉向預訓練的擴散模型，因為它們具有更強的生成能力。然而，訓練這些模型需要大量資源，且結果尚未達到令人滿意的性能水平。為了解決這個問題，本文引入了FaceAdapter，是一種高效且有效的適配器，專為預訓練的擴散模型提供高精度和高保真度的人臉編輯。本文...

Transformer對大模型界的影響力不言而喻，ChatGPT、Sora、StableDifusion等知名模型皆使用了該架構。但有一個很明顯的缺點，其注意力復雜度的二次方增長在處理書籍、PDF等超長文檔時會顯著增加算力負擔。雖然會通過滑動窗口注意力和稀疏注意力等技術來解決這一問題,在處理極長序列時仍存在局限性。因此，谷歌的研究人員提出了全新架構TransformerFAM，可以無縫與預訓練模型集成,并通過LoRA進行少量精調從而大幅度提升模型性能。...

本文將探討大語言模型(LLMs)與網絡抓取的集成，以及如何利用LLMs高效地將復雜的HTML轉換為結構化的JSON。作為一名數據工程師，我的職業生涯可以追溯到2016年。那時，我的主要職責是利用自動化工具從不同網站上獲取海量數據，這個過程被稱為“網絡抓取”。網絡抓取通常是從網站的HTML代碼中提取所需數據。在構建相關應用程序時，我不得不深入研究HTML代碼，努力尋找最佳的抓取解決方案。我所面臨的主要挑戰之一是應對網站的頻繁...

國內幾個AI大模型，包括大名鼎鼎的文心一言、通義千問等，以下國內AI大模型排名不分先后，阿騰云整理國內知名大模型，有些漏掉歡迎補充，本文AI大模型會持續更新。文心一言（百度）文心一言ERNIEBot由百度公司推出的知識增強大語言模型，能夠進行對話互動、回答問題，并提供創作輔助，開放給C端和B端用戶。百度智能云千帆大模型平臺，千帆提供包括文心一言底層模型和第三方開源大模型的同時，還提供各種AI開發工具和整套開發環...

一、結論寫在前面近期，多模態大型語言模型（LLMs）的發展主要集中在通過增加文本圖像配對數據和增強LLMs來提高多模態任務的性能。然而，這些擴展方法計算成本高昂，且忽視了從視覺方面有效提升模型能力的重要性。受到混合專家（MoE）在LLMs中成功應用的啟發，該技術在訓練過程中提高了模型的可擴展性，同時保持推理成本與小型模型相似，論文將稀疏混合專家設計引入了多模態大型語言模型。具體而言，論文用TopK稀疏MoE塊替換了M...

出品51CTO技術棧（微信號：blog51cto）眾所周知，LLM會產生幻覺——即生成不正確、誤導性或無意義的信息。有意思的是，一些人，如OpenAI的CEOSamAltman，將AI的幻覺視為創造力，而另一些人則認為幻覺可能有助于做出新的科學發現。然而，在大多數情況下，提供正確回答至關重要，幻覺并不是一項特性，而是一種缺陷。那么，如何減少LLM的幻覺呢？長上下文？RAG？微調？其實，長上下文LLMs并非萬無一失，向量搜索RAG也不盡如人意，...

什么是智能體AgentAutonomousagents又被稱為智能體Agent。能夠通過感知周圍環境、進行規劃以及執行動作來完成既定任務。在這些能力中，規劃尤為重要，它涉及到復雜的理解、推理和決策制定。大語言模型出現以前，我們一般通過規則的方法，或者強化學習的方法來實現。但是這兩種方法各有弊端：規則的方法是指把復雜的自然語言問題轉化為規則符號，往往需要行業專家的介入，缺乏容錯能力，小錯誤可能導致整個系統的失敗。而強化學...

撰稿丨今日晴出品51CTO技術棧（微信號：blog51cto）暗流涌動的大模型圈，幾乎毫無征兆地開啟了價格戰。近一周時間，字節跳動、阿里巴巴、百度、騰訊等多家廠商紛紛調整旗下大模型產品的定價策略，宣布面向企業市場的API價格下調，動輒下調90%以上，更有甚者直接宣布免費。值得注意的是，在這場硝煙彌漫的肉搏戰里，主力多是云巨頭，他們所售賣的模型服務往往是與云服務緊密綁定的。而大模型初創公司卻頂住了壓力，普遍并未有太...

深度學習和機器學習有什么區別？深度學習是機器學習一個分支，機器學習包含深度學習。下面阿小云從定義、技術、數據需求、應用領域、模型復雜度和計算資源多維度來對比深度學習和機器學習的區別：深度學習與機器學習是相關但不同的概念，深度學習是機器學習的一個分支。機器學習側重于讓計算機在無明確編程情況下學習，包括決策樹、SVM等算法；而深度學習主要依賴深層神經網絡，如CNN、RNN。機器學習對數據需求較小，廣泛應用于...

巴黎礦業大學、以色列理工學院的研究人員聯合推出了一款創新視頻模型——Slicedit。Slicedit主要通過結合文生圖像的擴散模型以及對視頻時空切片的預處理，在不影響背景的情況下對視頻主體進行修改。例如，將一名沖浪的男人變成鋼鐵俠，將一名轉球的男孩變成NBA巨星庫里，將貓的樣子變成豹等。雖然更改的視頻質量并不是很理想，會出現模糊、扭曲的情況。但這種方式對于不會使用AE專業視頻編輯軟件的業余人員來說幫助巨大，可以快...

HuggingfaceDemo:??https:huggingface.cospacesDecoderWQH666CharacterFactory???Github:??https:github.comqinghewCharacterFactory（代碼已經開源）???ProjectPage:??https:qinghew.github.ioCharacterFactory???Paper:??https:arxiv.orgabs2404.15677??最近，來自大連理工大學的IIAU團隊提出CharacterFactory，不需要參考圖片，僅需2.5GB顯存訓練10分鐘，可以在3秒內無限制地端到端地采樣出新的一致性角...