AI.x社區
- 登錄/注冊
大模型（LLM） API的使用，免費獲取試用API方法，付費API計費方式
原創?API（應用程序編程接口，ApplicationProgrammingInterface）是一組定義和協議，用于構建和集成應用程序軟件。API允許不同的軟件系統之間進行通信和數據交換。大模型API是大模型應用開發的基礎。API的使用不需要很高的算力，CPU就能跑。1.API作用及優勢大模型API（如GPT4、BERT等）提供了強大的自然語言處理（NLP）能力，可以應用于各種任務。以下是大模型API的主要功能和用途：1.自然語言理解和生成：理解和生成自然語言文本...大模型API圖遇見大型語言模型：進展與未來方向的研究
原創摘要：在現實世界的應用中，如引文網絡、社交網絡和生物數據等領域，圖（graph）在表示和分析復雜關系方面起著至關重要的作用。最近，大型語言模型（LargeLanguageModels,LLMs）在眾多領域取得了顯著成功，并且也被應用于與圖相關的任務中，以超越傳統的基于圖神經網絡（GraphNeuralNetworks,GNNs）的方法，并實現了最先進的性能。本綜述首先對現有整合LLMs與圖的各類方法進行了全面回顧與分析。首先，我們提出了一種新的分類法...大型語言模型數據合成方法-讓模型自己說出用了哪些指令對齊數據
寫在前面大家好，我是劉聰NLP。大模型時代，數據至上，如何利用大模型合成更多高質量數據也備受關注。今天給大家分享一個有意思的大模型合成數據方法MAGPIE，在不需要種子數據和額外人工干預的情況下，挖掘出對齊過的模型自身的指令數據?！禡AGPIE:AlignmentDataSynthesisfromScratchbyPromptingAlignedLLMswithNothing》paper:https:arxiv.orgabs2406.08464github:https:github.commagpiealignmagpie核心思想：對齊過的大模型...數據合成MAGPIEGPT4編碼大模型系列：Meta創新的“代碼編譯優化”的LLM
原創 精華大型語言模型(LLM)已在各種軟件工程和編碼任務中展現出卓越的能力。然而，它們在代碼和編譯器優化領域的應用仍未得到充分探索。訓練LLM需要大量資源，需要大量的GPU時間和大量的數據收集。Meta語言模型編譯器(LLMCompiler)，這是一套專為代碼優化任務設計的強大、公開可用的預訓練模型。LLMCompiler建立在CodeLlama的基礎上，增強了對編譯器中間表示(IR)、匯編語言和優化技術的理解。該模型已在546B的LVMIR和匯編代碼的龐大語料...模型LLM編譯器一次可輸入多張圖像，還能多輪對話！最新開源數據集，讓AI聊天更接近現實
大模型對話能更接近現實了！不僅可以最多輸入20張圖像，還能支持多達27輪對話?？商幚砦谋?圖像tokens最多18k。這就是最新開源的超長多圖多輪對話理解數據集MMDU（MultiTurnMultiImageDialogUnderstanding）。大型視覺語言模型（LVLMs）的核心能力之一是生成自然且有意義的回答，從而能夠與人類進行流暢的圖文對話。盡管目前開源的LVLMs在如單輪單圖輸入等簡化場景中展示出了不錯的潛力，但在具有長上下文長度，且需要多輪對話...模型生成從零開始，用英偉達T4、A10訓練小型文生視頻模型，幾小時搞定
精華OpenAI的Sora、StabilityAI的StableVideoDiffusion以及許多其他已經發布或未來將出現的文本生成視頻模型，是繼大語言模型(LLM)之后2024年最流行的AI趨勢之一。在這篇博客中，作者將展示如何將從頭開始構建一個小規模的文本生成視頻模型，涵蓋了從理解理論概念、到編寫整個架構再到生成最終結果的所有內容。由于作者沒有大算力的GPU，所以僅編寫了小規模架構。以下是在不同處理器上訓練模型所需時間的比較。作者表示，在CPU上運...模型架構亞馬遜云創新「神經稀疏檢索」：僅需要文本匹配就能實現語義搜索
本文作者是來自OpenSearch中國研發團隊的機器學習負責人楊揚博士以及機器學習工程師耿志超和管聰。OpenSearch是一個由亞馬遜云科技發起的純開源搜索和實時分析引擎項目。目前軟件超過5億下載量，社區在全球擁有70個以上的企業合作伙伴。自從大模型爆火以來，語義檢索也逐漸成為一項熱門技術。尤其是在RAG（retrievalaugmentedgeneration）應用中，檢索結果的相關性直接決定了AI生成的最終效果。目前市面上絕大部分的語義檢索實...模型編碼30倍于傳統方法，中國科學院團隊Transformer深度學習模型預測糖-蛋白質作用位點
糖類是自然界中最豐富的有機物質，對生命至關重要。了解糖類如何在生理和病理過程中調節蛋白質，可以為解決關鍵的生物學問題和開發新的治療方法提供機遇。然而，糖類分子的多樣性和復雜性，對實驗識別糖蛋白質結合以及相互作用的位點提出了挑戰。在這里，中國科學院團隊開發了一種深度學習模型DeepGlycanSite，它能夠準確預測給定蛋白質結構上的糖結合位點。DeepGlycanSite將蛋白質的幾何和進化特征融入具有Transformer架構的深...工具蛋白ICML 2024｜Transformer究竟如何推理？基于樣例還是基于規則
文章第一作者為來自北京大學物理學院、即將加入人工智能研究院讀博的胡逸。胡逸的導師為北京大學人工智能研究院助理教授、北京通用人工智能研究院研究員張牧涵，主要研究方向為圖機器學習和大模型的推理和微調。論文地址：https:arxiv.orgabs2402.17709項目主頁：https:github.comGraphPKUCaseorRule論文標題：CaseBasedorRuleBased:HowDoTransformersDotheMath?Casebasedorrulebased盡管如ChatGPT這樣的大語言模型（LargeLang...模型訓練MLLM QLoRA微調實戰：基于最新的袖珍Mini-InternVL模型
原創譯者朱先忠審校重樓引言大型語言模型（LLM）的世界正在不斷發展，新的進步正在迅速出現。一個令人興奮的領域是多模態LLM（MLLMs）的發展，這種模型既能夠理解文本又能夠理解圖像，并與之進行交互。因此，這種多模態模型的出現將為文檔理解、視覺問答等任務打開一個新的可能性的世界。我最近寫了一篇關于這種模型的文章??《微軟最新的Phi3視覺語言模型的6種現實應用》??（6RealWorldUsesofMicrosoft’sNewestPhi3VisionLangu...大型語言模型人工智能QLoRA如何解決模型的災難性遺忘問題？清華大學提出新方法！
精華探索連續學習中的新方法在人工智能領域，尤其是在語言模型（LM）的發展過程中，連續學習（CL）始終是一個挑戰。傳統的學習方法往往面臨著災難性遺忘的問題，即新知識的學習可能會導致舊知識的丟失。這一問題不僅影響模型的長期穩定性，還可能限制其在實際應用中的效能。為了解決這一問題，研究者們提出了多種策略，如重復學習、架構調整和參數調整等方法。然而，這些方法往往依賴于舊任務數據或任務標簽，而這在實際應用中可能...模型LMsMIGULLM最喜歡的隨機數是什么？答案竟是ta！
精華計算機程序中，「隨機」是一個常見的概念。由于生成真正的隨機數過于昂貴，所以Python、Java等語言都內置了「偽隨機數生成算法」。雖然生成的數字序列是完全可預測的，但它看起來就像是真正的隨機數。一個好的隨機數生成器會以相等的概率選擇給定范圍內的所有數字。這和人類選擇隨機數的思維過程完全不同。比如，我們會故意避開5和10的倍數，也不會選擇66和99這樣重復的數字，而且幾乎從不選擇0、1和100，因為它們看起來「不夠...LLM模型首個多模態視頻競技場Video-MME來了！Gemini全面超越GPT-4o，Jeff Dean連轉三次
大模型性能哪家強？GPT4一家常霸榜?；鶞蕼y試全擅長，競技場上見真章。不過近日，谷歌的Gemini終于揚眉吐氣了一把，在全新的、更復雜的多模態考試中大獲全勝，全面超越了GPT4o。JeffDean表示：已閱，很贊。這就是來自中科大，廈大，港大，北大，港中文和華師大的研究者聯合奉獻的，世界上首個多模態LLM視頻分析綜合評估基準——VideoMME。論文地址：https:arxiv.orgpdf2405.21075項目地址：https:videomme.github.io在前往AGI的...Gemini模型深度解析LeCun：不要盲目研究LLM？
在人工智能（AI）的浪潮中，大語言模型（LLM）如GPT、BERT等無疑是近年來最引人注目的技術之一。然而，就在這一領域如火如荼的發展之際，Meta首席AI科學家、圖靈獎獲得者、紐約大學教授YannLeCun卻多次公開發聲，表達了對LLM的質疑，甚至直言“不要研究LLM”。這一觀點無疑在AI界引起了廣泛的討論和關注。本文將結合LeCun的觀點，對LLM進行深度解析，探討為何不要盲目研究LLM，以及如何更好地發展人工智能技術。一、LLM的局限性...LeCunLLM人工智能開源的金融分析工具，Llama3-70B-Instruct模型編織開放的金融智能網
在自然語言處理（NLP）領域的持續進步中，大型語言模型（LLMs）的領域適應模型變得越來越重要。針對特定任務優化的模型能夠提供清晰、簡潔和正確的信息，這是商業和最終用戶都需要的用例。從醫療診斷到法律咨詢，再到金融分析，LLMs正在逐步改變我們與信息互動的方式。然而隨著這些模型在特定領域的應用越來越廣泛，領域適應性的挑戰也隨之而來。特別是在金融領域，對于精確性和可靠性的需求尤為重要。領域適應性指的是模型在特...開源Llama3模型Suno惹禍了！唱片界“三巨頭”組團對狙AI音樂生成“雙驕”,Suno CEO：直接法庭上見，對方不給解釋的機會！
原創整理丨諾亞出品51CTO技術棧（微信號：blog51cto）曾經，Suno的驚艷問世在各大社交網絡平臺掀起了關于AI在音樂創作領域應用的熱議。即使是音樂小白，利用該工具，只需簡單輸入關鍵詞，短短幾秒鐘后即可獲得長達2分鐘的聽感也不錯的音樂作品。但最近，Suno卻惹上了麻煩。截圖：來自Suno官網據路透社報道，唱片界三巨頭——環球音樂集團、索尼音樂和華納唱片已對人工智能音樂合成公司Udio和Suno提起訴訟，指控它們未經許可使用受版...SunoAI音樂全面對標GPT-4 Turbo，訊飛星火V4.0 重磅發布！
原創出品51CTO技術棧（微信號：blog51cto）訊飛星火終于交卷了！6月27日，訊飛星火V4.0發布，在8個國際主流測試集中排名第一，以一份惹眼的成績單，成為國內大模型的先行者：七大核心能力持續突破，全面對標GPT4Turbo。1.8個國際權威測試集測評第一星火V4.0全面對標GPT4Turbo基于全國首個國產萬卡算力集群“飛星一號”，訊飛星火大模型V4.0不僅實現對標GPT4Turbo，更是在文本生成、語言理解、知識問答、邏輯推理、數學能力等方面實...GPT-4訊飛星火個性化將圖像自動文本化，圖像描述質量更高、更準確了
皮仁杰：香港科技大學博士三年級學生，師從張潼教授和周曉方教授。于2024年獲得蘋果獎學金。目前主要研究方向是多模態大語言模型和數據為中心的AI。?張鑒殊：武漢大學本科三年級學生，目前在張潼教授的指導下擔任研究實習生，主要研究方向是大語言模型，多模態大語言模型以及持續學習。當下在尋找2025fall博士入學機會。在當今的多模態大模型的發展中，模型的性能和訓練數據的質量關系十分緊密，可以說是“數據賦予了模型的絕...模型數據史上首個實時AI視頻生成技術：DiT通用，速度提升10.6倍
精華實時AI視頻生成來了！本周三，新加坡國立大學尤洋團隊提出了業內第一種可以實時輸出的，基于DiT的視頻生成方法。該技術名為PyramidAttentionBroadcast（PAB）。通過減少冗余注意力計算，PAB實現了高達21.6FPS的幀率和10.6倍的加速，同時不會犧牲包括OpenSora、OpenSoraPlan和Latte在內的流行基于DiT的視頻生成模型的質量。值得注意的是，作為一種不需要訓練的方法，PAB可以為任何未來基于DiT的視頻生成模型提供加速，讓其具備實...AI視頻生成最全梳理多模態大模型近期進展（26個最佳方案匯總）
精華paper：https:arxiv.orgabs2401.13601一篇比較不錯的綜述型文章梳理了多模態大型語言模型(MMLLM)的近期進展總結了MMLLM的模型架構和訓練流程梳理了26個當前最佳的MMLLM模型MMLLM的時間線主要模型架構模型架構模態編碼器（ModalityEncoderME）：圖像：NFNetF6、ViT、CLIPViT等。視頻：通常將視頻均勻采樣成5幀，經過與圖像相同的預處理。音頻：CFormer、HuBERT、BEATs等。3D點云：ULIP2與PointBERT后端。負責將不同模態的輸入編...大模型發展
