檢索增強(qiáng)型生成（RAG）使LLMs能夠利用檢索到的可靠信息，從而返回更可靠的響應(yīng)。現(xiàn)有研究主要關(guān)注需要簡潔明確答案的特定問題，但用戶意圖通常是復(fù)雜和多方面的，需要豐富和全面的答案。一個多方面查詢需要全面回答的情境示例為了解決這一重要但未被充分探索的問題，提出了一種名為RichRAG的新型RAG框架：子方面探索器：識別輸入問題潛在的子方面。多方面檢索器：構(gòu)建與這些子方面相關(guān)的多樣化外部文檔候選池。生成式列表智能排...

2023年4月，距離chatGPT的正式發(fā)布已經(jīng)過去了四個多月，距離NewBing的發(fā)布過去了兩個月，而GPT4同樣也已經(jīng)發(fā)布了一個月，各式各樣圍繞chatGPT或者說LLM模型的生態(tài)、社區(qū)、工作不斷涌現(xiàn)，對GithubTrending榜單一直關(guān)注的人可能早就注意到，圍繞chatGPT的各種包裝庫以及各種開源模型工作持續(xù)地在霸占榜單，這屬實(shí)罕見。在接下來的篇幅中，我們將以一個程序員的視角探討當(dāng)下生成式AI類工具對技術(shù)人員工作流的改變，以及作為算法工...

論文標(biāo)題:CodeGemma:OpenCodeModelsBasedonGemma機(jī)構(gòu):GoogleLLC論文鏈接:https:arxiv.orgpdf2406.11409.pdfCodeGemma模型概述CodeGemma是基于GoogleDeepMind的Gemma模型系列（GemmaTeametal.,2024）開發(fā)的一系列開放代碼模型。這些模型繼承了Gemma預(yù)訓(xùn)練模型的基礎(chǔ)，并在此基礎(chǔ)上進(jìn)一步訓(xùn)練，使用的數(shù)據(jù)主要是代碼，訓(xùn)練數(shù)據(jù)量在5000億到1000億token之間。CodeGemma模型在代碼完成和生成任務(wù)中達(dá)到了最先進(jìn)的性能，同時在大規(guī)模...

今日AI圈最近可謂熱鬧非凡，各位吃瓜群眾坐穩(wěn)了！前OpenAI聯(lián)合創(chuàng)始人IlyaSutskever才剛剛離開老東家一個月，就已經(jīng)迫不及待地啟動了他的全新計劃，成立了一家名為SafeSuperintelligenceInc.（SSI）的公司。這次，他可是找來了前YCombinator的DanielGross和前OpenAI工程師DanielLevy，組成了新的“AI三劍客”，誓要在AI界再掀狂潮。宣言大意：SafeSuperintelligenceInc.的使命是開發(fā)安全的超級智能（SSI）。公司專注于這個目標(biāo)，...

一、結(jié)論寫在前面論文來自GoogleDeepMind。論文標(biāo)題：NATURALPLAN:BenchmarkingLLMsonNaturalLanguagePlanning論文鏈接：??https:arxiv.orgpdf2406.04520??論文提出了NATURALPLAN，一個包含三個關(guān)鍵任務(wù)（旅行規(guī)劃、會議規(guī)劃和日歷調(diào)度）的自然語言現(xiàn)實(shí)規(guī)劃基準(zhǔn)。論文的評估重點(diǎn)在于LLMs在完全了解任務(wù)情況下的規(guī)劃能力，通過提供來自GoogleFlights、GoogleMaps和GoogleCalendar等工具的輸出作為模型的上下文。這消除了在規(guī)...

AIGC在2023年爆火，各類大模型層出不窮，參數(shù)動輒達(dá)到千億數(shù)量級。這些背后，數(shù)據(jù)的類型和形式也走向復(fù)雜多樣。例如大模型會采用到我們真實(shí)物理世界中的文字、視覺、音頻、3D、雷達(dá)、多譜等復(fù)雜多樣的不同模態(tài)信號和數(shù)據(jù)，數(shù)據(jù)則又存在結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等多種形式。在大模型發(fā)展的初期：GPU很貴，相比之下存儲的成本忽略不計，可以直接選性能最好最貴的存儲方案。典型的高性能文件系統(tǒng)有GPFS、Lustre、Weka，以及其他...

“'角球迅速開出……奧里吉！'在2019年歐洲冠軍聯(lián)賽半決賽中，利物浦足球俱樂部完成了一次歷史性的逆轉(zhuǎn)。其中最具標(biāo)志性的時刻之一是特倫特·亞歷山大阿諾德的角球，這一角球讓迪沃克·奧里吉打入了被認(rèn)為是利物浦俱樂部歷史上最偉大的進(jìn)球。從直覺到AI驅(qū)動的洞察：體育科技的變革者足球，這項傳統(tǒng)上依賴教練直覺和戰(zhàn)術(shù)智慧的運(yùn)動，隨著人工智能（AI）的出現(xiàn)正在經(jīng)歷一場范式轉(zhuǎn)變。谷歌DeepMind的研究人員開發(fā)了TacticAI，這是...

近日，微軟的AzureAI團(tuán)隊在HuggingFace上發(fā)布了一個名為Florence2的新視覺基礎(chǔ)模型。該模型以寬松的MIT許可證可用，可以處理各種視覺和視覺語言任務(wù)，使用統(tǒng)一的基于提示的表示形式。它有兩個尺寸——232M和771M個參數(shù)，并且在字幕生成、目標(biāo)檢測、視覺定位和分割等任務(wù)上已經(jīng)表現(xiàn)出色，與許多大型視覺模型相媲美甚至更好。盡管該模型的實(shí)際性能尚待測試，但這項工作預(yù)計將為企業(yè)提供一種處理不同類型視覺應(yīng)用的統(tǒng)一方法。這將...

傳統(tǒng)推薦系統(tǒng)雖然能給出準(zhǔn)確的推薦結(jié)果，但缺乏對推薦過程的透明解釋，難以讓系統(tǒng)更好地理解其興趣偏好是如何被捕捉和建模的。最近，香港大學(xué)數(shù)據(jù)智能實(shí)驗室推出了一款名為XRec的全新智能大模型，旨在為傳統(tǒng)推薦系統(tǒng)注入可解釋性的新動力。XRec利用大語言模型(LLM)的強(qiáng)大自然語言處理能力，為推薦系統(tǒng)賦予了可解釋性，讓系統(tǒng)不僅能給出精準(zhǔn)的推薦結(jié)果，還能用通俗易懂的語言向用戶闡述其推薦依據(jù)。代碼鏈接:??https:github.co...

ARCAGI是唯一可以用來衡量通用人工智能進(jìn)展的基準(zhǔn)，創(chuàng)造者Fran?oisChollets曾經(jīng)擲下豪言——「它不可能輕易被擊敗！」為了測試這一點(diǎn)，他于2020年在Kaggle（GoogleLLC旗下的數(shù)據(jù)科學(xué)競賽平臺）上主辦了首屆ARCAGI競賽。獲勝團(tuán)隊icecuber在測試集上僅取得了21%的成功率，這個成績強(qiáng)有力地證明了Fran?ois的斷言是正確的。此后幾年，來自世界各地的挑戰(zhàn)者不斷刷新這個紀(jì)錄，但進(jìn)展緩慢。ARCAGI似乎成為了一座不可跨越的高山。可...

圖像生成領(lǐng)域，有這么幾種方法，F(xiàn)lowBased、GANBased、VAE+PixelCNN系列、擴(kuò)散模型自回歸。更早期的是基于自編碼器的圖像生成，各種AutoEncoder模型，以及影響很大的變分自編碼器dVAE。后面又有FlowBased，不過似乎FlowBased引起的注意不是那么大。然后是名噪一時的GAN。2020年之后，擴(kuò)散模型逐漸火熱，一直到現(xiàn)在慢慢擴(kuò)展到視頻生成、3D生成、目標(biāo)檢測和語義分割等領(lǐng)域。與此同時，自回歸模型作為語言模型里面的杠把子，也引起...

AI繪圖軟件有推薦嗎？隨著AI繪圖技術(shù)的不斷發(fā)展，AI繪圖軟件的出現(xiàn)不僅改變了我們傳統(tǒng)繪圖的方式，而且還為我們的圖片創(chuàng)作提供更多的可能性，在藝術(shù)作品的創(chuàng)作上輕松愉悅。今天在本文中，我們將為大家介紹六款A(yù)I繪圖軟件，希望能夠幫助大家選擇到合適的AI繪圖工具。AI繪圖軟件一：AI小聚AI小聚是一款功能多樣的AI智能創(chuàng)意工具，這款A(yù)I繪圖軟件內(nèi)置了AI繪畫、AI視頻、AI音樂、AI對話等多種AI創(chuàng)作功能，能夠讓使用者探索創(chuàng)作的無...

測試Gemini1.5Pro、GPT4o等多模態(tài)大模型的新基準(zhǔn)來了，針對視頻理解能力的那種。直接在視頻內(nèi)容中插入多個無關(guān)的圖像或文本“針”，嚴(yán)格評估模型對時間理解的能力。來看下面的栗子。比如插入密碼詞“Alice”，讓模型找到這個密碼詞；插入蘋果圖片，讓模型解答這個水果是什么；又或者插入多個“針”，詢問模型插入針的順序是什么。這就是來自中科院、人大、百川的研究團(tuán)隊聯(lián)合提出的利用合成視頻構(gòu)建視頻理解測試基準(zhǔn)的方法。該...

城市時空的預(yù)測，迎來GPT時刻。清華大學(xué)電子系城市科學(xué)與計算研究中心推出了第一個無需自然語言的純時空通用模型——UniST，首次展示了純時空模型本身的通用性和可擴(kuò)展性，研究成果已被KDD2024接收。研究團(tuán)隊利用超過20個時空數(shù)據(jù)集、1.3億+個時空樣本點(diǎn)，構(gòu)建了涵蓋多個城市、不同領(lǐng)域、空間劃分和時間分辨率等維度的城市時空數(shù)據(jù)，構(gòu)建并訓(xùn)練了「oneforall」的時空通用模型——UniST。該模型是目前覆蓋范圍最廣、統(tǒng)一性最強(qiáng)的...

情緒分析指用于判斷文本中表達(dá)的情緒的自然語言處理(NLP)技術(shù)，它是客戶反饋評估、社交媒體情緒跟蹤和市場研究等現(xiàn)代應(yīng)用背后的一項重要技術(shù)。情緒可以幫助企業(yè)及其他組織評估公眾意見、提供改進(jìn)的客戶服務(wù)，并豐富產(chǎn)品或服務(wù)。BERT的全稱是來自Transformers的雙向編碼器表示，這是一種語言處理模型，最初發(fā)布時通過了解上下文中的單詞，提高NLP的先進(jìn)水平，大大超越了之前的模型。事實(shí)證明，BERT的雙向性(同時讀取特定單詞的左...

繼Sora官宣之后，多模態(tài)大模型在視頻生成方面的應(yīng)用簡直就像井噴一樣涌現(xiàn)出來，LUMA、Gen3Alpha等視頻生成模型展現(xiàn)了極佳質(zhì)量的藝術(shù)風(fēng)格和視頻場景的細(xì)節(jié)雕刻能力，文生視頻、圖生視頻的新前沿不斷被擴(kuò)展令大家驚喜不已，抱有期待。最近，來自中國科學(xué)技術(shù)大學(xué)、北京大學(xué)、上海AILab等團(tuán)隊的研究人員發(fā)布了引人矚目的ShareGPT4Video系列，旨在提升視頻理解和生成能力。論文鏈接:???https:arxiv.orgabs2406.04325v1???項目...

本文作者來自于中國科學(xué)院大學(xué)LAMP實(shí)驗室，其中第一作者趙毓鐘是中國科學(xué)院大學(xué)的2023級博士生，共同一作劉峰是中國科學(xué)院大學(xué)2020級直博生。他們的主要研究方向是視覺語言模型和視覺目標(biāo)感知。簡介DynRefer通過模擬人類視覺認(rèn)知過程，顯著提升了區(qū)域級多模態(tài)識別能力。通過引入人眼的動態(tài)分辨率機(jī)制，DynRefer能夠以單個模型同時完成區(qū)域識別、區(qū)域?qū)傩詸z測和區(qū)域字幕生成（regionlevelcaptioning）任務(wù)，并在上述任務(wù)都取得SO...

出品51CTO技術(shù)棧（微信號：blog51cto）變天了！還記得OpenAI剛推出Sora時給人的驚艷感，但在文生視頻領(lǐng)域，Sora想一家獨(dú)大也沒有那么簡單。如今，越來越多表現(xiàn)不俗的替代方案已經(jīng)出現(xiàn)。繼LumaAI的DreamMachine首次亮相之后，RunwayML最近推出的Gen3Alpha也令人印象深刻。與此同時，快手推出了Kling（可靈），這一模型能夠以每秒30幀的速度生成1080p高清分辨率的視頻。圖片Gen3Alpha經(jīng)過視頻和圖像的訓(xùn)練，將為Runway的文字轉(zhuǎn)視...

教育數(shù)據(jù)中的課堂對話等信息包含了關(guān)于學(xué)生學(xué)習(xí)方式的大量洞察。但是，處理和分析這些數(shù)據(jù)是相當(dāng)痛苦的。近日，斯坦福大學(xué)研究團(tuán)隊提出EduConvoKit，這是一個能夠為你處理預(yù)處理、注釋和分析的流程！用于規(guī)模化教育的語言工具令人感到興奮，因為正在擺脫僅以標(biāo)準(zhǔn)化考試成績衡量學(xué)習(xí)的過度簡化觀點(diǎn)......而轉(zhuǎn)向以學(xué)生思維和教學(xué)法為基礎(chǔ)的語言評估。倉庫鏈接：https:github.comstanfordnlpeduconvokit來看看EduConvoKit的實(shí)際應(yīng)...

??TheAnnotatedTransformer注釋加量版????TheAnnotatedGPT2注釋加量版????TheAnnotatedBERT注釋加量版??前面三篇文章實(shí)現(xiàn)了Transformer、BERT以及GPT2的預(yù)訓(xùn)練過程，也就是上圖中的Stage1和Stage2，并通過打印數(shù)據(jù)信息可視化了預(yù)訓(xùn)練和推理過程。此時的GPT2雖然能預(yù)測下一個詞，但并不能很好地跟隨人類指令，如果想讓它翻譯就能翻譯，想讓它總結(jié)就能總結(jié)，接下來還要進(jìn)行指令微調(diào)。本文我們基于此前的GPT2預(yù)訓(xùn)練模...