編者按：如何更好地評估和比較不同版本的大語言模型？傳統的學術基準測試固然重要，但往往難以全面反映模型在實際應用場景中的表現。在此背景下，本文作者別出心裁，通過讓Llama2和Llama3模型進行井字游戲對決，為我們提供了一個新穎而有趣的模型評估視角。此文不僅展示了一種創新的模型比較方法，更揭示了當前大語言模型在處理看似簡單的空間邏輯任務時所面臨的挑戰。讓我們得以一窺不同參數規模模型的表現差異，以及新一代模...

沉睡了兩千多年的兵馬俑，蘇醒了？一句秦腔開場，將我們帶到了黃土高原。如果不是親眼所見，很多觀眾可能難以想象，有生之年還能看到兵馬俑和寶石Gem同臺對唱《從軍行》。「青海長云暗雪山，孤城遙望玉門關。」古調雖存音樂變，聲音依舊動人情：這場表演背后的「AI復活召喚術」，叫做EMO，來自阿里巴巴通義實驗室。僅僅一張照片、一個音頻，EMO就能讓靜止形象變為惟妙惟肖的唱演視頻，且精準卡點音頻中的跌宕起伏、抑揚頓挫。?...

文章鏈接：https:arxiv.orgpdf2310.11448git鏈接：https:zju3dv.github.io4k4d本文旨在實現動態3D場景在4K分辨率下的高保真和實時視圖合成。最近，一些動態視圖合成方法在渲染質量方面表現出色。然而，在渲染高分辨率圖像時，它們的速度仍然有限。為解決這個問題，本文提出了4K4D，一種支持硬件光柵化的4D點云表示，能夠實現前所未有的渲染速度。本文的表示基于4D特征網格構建，因此點云被自然地正則化并可以進行穩健優化。此外...

寫在前面大家好，我是劉聰NLP。Llama3模型已經開源，可以就在這短短的兩天之內，就出現了很多ChineseLlama3repo，開源社區也是相當的卷。再看到Llama3相關報告的時候，就預料到會有很多ChineseLlama3，因為Llama3對中文十分不友好，15TTokens的訓練數據，僅有5%（750BTokens）是其他語言，那么中文就更少了。當時還抖激靈，說先開個repo占個坑（其實是想做但沒卡）很多網友們測試，也發現Llama3能力很強，可以理解中文問題的意...

一、背景在LLM的預訓練過程中，通常會不斷地保存Checkpoint，主要有以下幾個好處：中斷恢復：在大規模訓練中，硬件故障和偶然的軟件故障是不可避免的。通過保存Checkpoint，可以在發生異常時恢復訓練，避免從頭開始。進度管理：LLM需要評估的指標很多，但通常不會在模型訓練中實時評估，而是通過保存Checkpoint進行離線評估。這有助于評估模型是否朝著正確的方向發展。增量學習：保持Checkpoint也為后續的增量學習和遷移學習提...

一、結論寫在前面論文來自：清華大學，西湖大學，香港中文大學論文標題：KnowledgeConflictsforLLMs:ASurvey論文鏈接：??https:arxiv.orgpdf2403.08319??論文廣泛探討了知識沖突，闡明了其分類、成因、LLMs對這些沖突的響應方式及可能的解決方案，強調了在融合上下文知識和參數知識時所遇到的復雜挑戰。論文的研究重點是三類知識沖突：上下文記憶沖突、跨上下文沖突和內存內沖突。這些沖突顯著影響LLMs的可信度和性能，特別...

近日，雷丁大學的研究團隊通過一項創新研究發現，人工智能工具ChatGPT在大學考試中不僅表現出色，而且其得分竟然超過了真實學生。這一研究利用ChatGPT為心理學本科課程的考試生成答案，結果不僅顯示AI的平均分數超過了學生，而且還引發了對現代教育評估方式的深刻思考。AI優異表現背后的深意研究團隊設計了33個虛擬學生身份，讓他們通過ChatGPT來完成考試。驚人的是，AI的表現比真實學生高出半個等級。其中94%的AI答卷沒有引起...

摘要：盡管大規模語言模型（LLMs）變得越來越強大，但它們仍然表現出顯著但微妙的弱點，如在執行指令或編寫代碼任務中的錯誤。由于這些意外錯誤在實際部署中可能導致嚴重后果，系統性地研究LLMs的局限性至關重要。傳統的基準測試方法無法徹底pinpoint具體的模型缺陷，而手動檢查則成本高且不可擴展。在本文中，我們介紹了一個統一框架，AUTODETECT，以自動揭示LLMs在各種任務中的弱點。受教育評估過程（衡量學生學習成果）的啟...

摘要：本文探討了一項新穎任務“如你所說的靈巧抓取”（DexGYS），使機器人能夠根據以自然語言表達的人類指令執行靈巧抓取。然而，這一領域的發展因缺乏具有自然人類指導的數據集而受到阻礙；因此，我們提出了一個基于語言指導的靈巧抓取數據集，名為DexGYSNet，提供高質量的靈巧抓取注釋以及靈活和細致的人類語言指導。我們的數據集構建具有成本效益，采用精心設計的手物體交互重定向策略和大語言模型輔助的語言指導注釋系統。...

摘要：基于強大的大語言模型（LLMs），最近的生成型多模態大語言模型（MLLMs）作為一個重要的研究領域，展示了在理解和生成方面的顯著能力。在這項工作中，我們引入了一個名為SEEDBench的基準測試，以評估MLLMs的生成理解能力，作為對生成模型進行全面評估的初步步驟。SEEDBench包含19,000道多項選擇題，配有精確的人類標注（是現有基準的6倍），涵蓋了包括圖像和視頻模態理解在內的12個評估維度。我們開發了一個先進的流程，用...

譯者朱先忠審校重樓引言“將你的企業數據轉化為可用于實際生產環境的LLM應用程序，”??LlamaIndex主頁???用60號字體這樣高亮顯示。其副標題是“LlamaIndex是構建LLM應用程序的領先數據框架。”我不太確定它是否是業內領先的數據框架，但我認為它是一個與??LangChain???和??SemanticKernel??一起構建大型語言模型應用的領先數據框架。LlamaIndex目前提供兩種開源語言框架和一個云端支持。一種開源語言是Python；另...

出品51CTO技術棧（微信號：blog51cto）蘋果不只要分文不花地獲得Intelligence，還要OpenAI的話語權。根據彭博社報道，蘋果公司將在OpenAI董事會上獲得觀察員角色，要知道，這是微軟花費130億美元才達成的！知情人士透露，蘋果應用商店負責人、前營銷主管菲爾·席勒（PhilSchiller）被選為這一職位。圖片作為董事會觀察員，他不會擔任完全的董事。觀察員雖然可以參加董事會會議，了解公司決策過程和內部運作，但他們不具備投票權...

今天分享一篇來自慕尼黑工業大學的文章，Title:"NLPKG:ASystem)forExploratorySearchofScientificLiteratureinNaturalLanguageProcessing"。傳統的文獻搜索工具例如googlescholar在學術資源的搜索上做的并不是很好，其大多利用關鍵詞來進行搜索。而本文提出的NLPKG方法，借助了大量自然語言處理的工具，對現有的文章進行概念抽取，綜述分類等，提供層次化的結構圖，方便用戶快速定位到相關領域和paper。同時結合LLM提供文章chat...

OpenAI的Sora、StabilityAI的StableVideoDiffusion以及許多其他已經發布或未來將出現的文本生成視頻模型，是繼大語言模型(LLM)之后2024年最流行的AI趨勢之一。在這篇博客中，作者將展示如何將從頭開始構建一個小規模的文本生成視頻模型，涵蓋了從理解理論概念、到編寫整個架構再到生成最終結果的所有內容。由于作者沒有大算力的GPU，所以僅編寫了小規模架構。以下是在不同處理器上訓練模型所需時間的比較。作者表示，在CPU上運...

前言本文基于凱斯西儲大學（CWRU）軸承數據，先經過數據預處理進行數據集的制作和加載，最后通過Pytorch實現優化的KAN模型和KAN卷積模型對故障數據的分類。1、KAN網絡介紹1.1KAN網絡三大特征數學上有據可依準確性高可解釋性強1.2傳統MLP的本質多層感知機（MLPs），也稱為全連接前饋神經網絡，是深度學習模型的基礎構建塊。MLPs的重要性不言而喻，因為它們是機器學習中用于逼近非線性函數的默認模型，其表達能力由普適逼近定理保...

譯者李睿審校重樓大型語言模型（LLM）已經證明是一種非常寶貴的思考工具。經過大量文本、代碼和其他媒體數據集的訓練，它們能夠創作出接近人類水平的文章、翻譯語言、生成圖像，還能以信息豐富的方式回答人們提出的問題，甚至可以編寫不同類型的創意內容。但是，盡管它們功能強大，即使是最先進的LLM也有一個基本的限制：知識的時效性。它們所“知道”的一切知識都是由所接受的訓練數據決定的，這使它們無法適應新的信息，也無...

LazyLLM是一款低代碼構建多Agent大模型應用的開發工具，協助開發者用極低的成本構建復雜的AI應用，可以持續的迭代優化效果。提供了便捷的搭建應用的workflow，為應用開發過程中的各個環節提供了大量的標準流程和工具。基于LazyLLM的AI應用構建流程：原型搭建>數據回流>迭代優化，可以先基于LazyLLM快速跑通應用的原型，再結合場景任務數據進行badcase分析，然后對應用中的關鍵環節進行算法迭代和模型微調，進而逐步提升整個應用...

這篇博客全面介紹了大型語言模型（LLMs）的構建流程，從流行架構的選擇到實際建模的每個關鍵步驟。文章首先探討了LLMs的模型架構，然后詳細闡述了數據準備過程，包括數據的收集、清洗和去重，接著是關于如何進行有效標記化的討論。在模型構建方面，博客詳細解釋了采用自監督學習方法的預訓練過程，以及對模型進行指令微調和對齊的重要性。每個環節都被細致地講解，使讀者能夠深入理解LLMs的構建和優化過程。這篇博客為那些對LLM...

尤洋團隊新作，首個基于DiT的實時視頻生成方法來了！?先來直觀感受一下效果（右側為新方法）：這是團隊在OpenSora上，使用5個4s（192幀）480p分辨率視頻進行的測試。新方法名為PyramidAttentionBroadcast（PAB），由新加坡國立大學尤洋以及3位學生推出。具體來說，PAB通過減少冗余注意力計算，可實現高達21.6FPS和10.6倍加速，并且不會犧牲基于DiT的流行視頻生成模型（包括OpenSora、OpenSoraPlan和Latte）的質量。作為一種免...

文章鏈接：https:arxiv.orgpdf2406.17777github鏈接：laulampaul.github.iotextanimator.html視頻生成在游戲、電子商務和廣告等各行業中都是一個具有挑戰性但至關重要的任務。在文本到視頻（T2V）生成領域中，有效地在生成的視頻中視覺文本是一個尚未解決的重要方面。盡管在文本到視頻生成方面取得了一些進展，但現有的方法仍然無法直接在視頻中有效地視覺文本，因為它們主要集中在總結語義場景信息、理解和描繪動作。雖然最近...