AI.x社區
- 登錄/注冊
Jina AI將LLM Reranker延遲打下來了：21秒變3秒！
繼JinaRerankerv2之后，JinaAI又開源了PERank，一種新的基于LLM的重新排序器，用于高效的列表式段落重新排序。不是將原始文本輸入到LLM的上下文窗口，而是使用嵌入模型將每個段落表示為一個特殊標記，然后將[指令]+[查詢]+[特殊標記]輸入到LLM中。在推理時，PERank將輸出空間限制在這些特殊標記上，從而實現更高效的解碼。PERank將重新排序100個文檔的延遲從21秒大幅減少到3秒。RankGPT（上）與PERank（下）的比較。RankGPT將整...Jina AILLM上下文窗口從CUDA到Keras,這些年你應該了解的深度學習工具
“風起于青萍之末”，十年前，Nvidia被人工智能（AI）清風拂面，推出CUDA，成功把自己打造成風口上的飛豬。“Nvidia還從沒有搶到過像人工智能這樣強的風口，這意味著我們在GPU領域的成就無以倫比”，在AI淘金熱潮中，N記這家“賣水的”走到了2017CES聚光燈下。“據估計，世界上目前有3000家AI初創公司，大部分都采用了Nvidia提供的硬件平臺”，如果大家最近在某東關注過游戲本，可以直觀感受到N記這種成功。一切得從GPU說起。GP...CUDAKeras深度學習《自然》科學期刊：人工智能與量子力學的交匯，分布式智能系統中的自組織現象
分布式智能系統（DIS）是由多個智能代理組成的系統，這些代理可以是人類（自然智能代理，NIA）或人工智能（人工智能代理，AIA）。在DIS中，代理之間通過網絡進行信息交換和協作，共同完成復雜的任務。隨著互聯網和通信技術的發展，DIS在工業、經濟、管理和日常生活中的應用越來越廣泛。例如在智能制造中，多個機器人可以通過DIS協同工作，提高生產效率；在智能交通中，車輛可以通過DIS共享交通信息，優化行駛路線；在智能家居中...人工智能量子力學智能Agent智能體？我們要的到底是什么
本文將深入探討智能體的概念、為何“具有智能體特性”變得如此重要，以及這一趨勢如何影響我們對未來技術的構想。什么是智能體？傳統應用程序通常遵循預先定義好的規則和邏輯，而智能體則不同，它可以根據LLM的理解和判斷，動態地選擇下一步操作，這使得智能體能夠處理更加復雜和不確定的任務。簡單來說，智能體就是一個利用LLM來決定應用程序控制流程的系統，可以被視為一種能夠自主決策和執行任務的系統。它通過與外部數據和...AgentAgenticLLM序列建模中Next Item Prediction的代表性工作
NextItemPrediction任務是序列推薦系統中的一個基礎任務，根據用戶的歷史瀏覽行為item序列，預測用戶下一個感興趣的item。今天這篇文章，給大家梳理一下近幾年來，NextItemPrediction任務的代表性工作。1.基于BERT的序列建模論文標題：BERT4Rec:SequentialRecommendationwithBidirectionalEncoderRepresentationsfromTransformerBERT4Rec是阿里在2019年提出的一種基于BERT的NIP建模方法。在之前的工作中，大多基于RNN的單向模型...建模結構BERT新一代的交互形式LUI（language user interface）到來，微軟為它架了一座橋
ChatGPT為代表的LLM以其驚艷的自然語言理解能力得到大眾認可之后，一大批基于自然語言的應用被紛紛提上日程，以對話的方式進行人機交互的模式再一次被業內所關注。大約五六年前，智能音箱因為其自然語言對話的交互形式，掀起了一場智能音箱熱潮，各大公司對其產品給予了厚望，但由于技術不夠成熟，理解和對話能力不夠強，導致了智能音箱始終難以作為大眾消費品獲得成功，而當下基于大模型的語義理解和對話能力有了質的提高，大...LUItypeChatOpenAILFPLM：基于預訓練語言模型的通用靈活負荷預測框架
原創??摘要——準確的負荷預測對于維持發電機和消費者之間的電力平衡至關重要，特別是在可再生能源日益融合的情況下，這些能源帶來了顯著的間歇性波動。隨著數據驅動方法的發展，基于機器學習和深度學習的模型已成為負荷預測任務的主要方法。近年來，預訓練語言模型（PLM）在各個領域表現出色，取得了顯著進展。本文提出了一種基于PLM的負荷預測方法，該方法不僅具有準確的預測能力，還具有通用性和靈活性。此外，本文還提出了一...大模型哈佛DeepMind開辟「虛擬神經科學」新領域！在世界模擬器馴養「賽博老鼠」
人類和動物能夠輕松靈活地移動，這是一種進化奇跡，目前還沒有任何機器人能夠完全模仿這種能力。如何能讓機器人變得更加敏捷？科學家為了解決這個問題，選擇從動物身上尋找答案，又開始用小白鼠做起了實驗——畢竟成年老鼠的智力與8歲兒童相當，而且它們四肢相當靈活，對自己的身體有著精妙的控制能力。如果能通過老鼠破解大腦控制運動的密碼，建立一個將控制原理與行為動物的神經活動結構聯系起來的模型，那就再好不過了。《獻...生物學模擬ChatGPT無法取代人類程序員！ IEEE 35頁論文測出困難編碼正確率僅為0.66%
精華有了ChatGPT，還需要人類程序猿編碼嗎？上個月，一項發表在IEEETSE期刊（TransactionsonSoftwareEngineering）上的研究評估了ChatGPT所生成的代碼在功能性、復雜性和安全性方面的表現。結果顯示，ChatGPT生成可用代碼的能力差異很大。其成功率從0.66%到89%不等，這主要取決于任務的難度、編程語言等多種因素。論文地址：https:ieeexplore.ieee.orgdocument10507163具體來說，研究人員測試了GPT3.5在5種編程語言（C、C++、Java、...ChatGPT程序員徹底改變交互的九大基于語音的生成式AI助手
原創譯者布加迪審校重樓基于語音的生成式AI助手正在悄然改變我們與技術交互的方式，取得了微妙而又重大的進步。這些AI助手不再只是響應命令，而是變得更直觀簡單、更有同理心，還能夠理解復雜的人類情感和環境。雖然進展似乎是漸進式的，但AI助手的功能在迅速增強。本文深入介紹了幾款領先的基于語音的生成式AI助手。1.GPT4o首先，OpenAI的GPT4o更先進，更有能力創建擁有眾多功能的復雜應用程序，這證明了它的“發展”程度更高，能...人工智能AI助手谷歌推出全新模型，將Transformer與NAR相結合
Transformer架構的出現極大推動了大模型的技術創新，誕生出了ChatGPT、Coplit、訊飛星火、文心一言等一系列生成式AI產品。雖然Transformer在自然語言理解任務上表現很好,但在算法推理方面有嚴重的缺陷。例如，當面臨超出訓練數據分布的輸入時,其泛化能力會急劇下降。這主要是因為它們的自回歸性質和掩蔽注意力機制,不符合算法輸出的邏輯順序。而神經算法推理(NAR)在結構化輸入上表現好，能夠處理各種算法任務，并且在面對訓練集...數據訓練OpenAI Altman圓桌：AGI可以創造100萬億美元財富，十年內世界GDP翻一番
原創出品51CTO技術棧（微信號：blog51cto）OpenAICEOSamAltman和好友AirbnbCEOBrianChesky與NBC主持人LesterHolt展開了一場圓桌討論。對話廣泛涵蓋了人工智能(AI)在日常生活和工業應用的各個方面的普遍影響，強調了AI能力的不斷增強將給社會帶來的廣泛變化。Altman提到，希望AI技術持續給人類帶來利益，讓他們在自己所做的事情中發揮出最佳狀態。以下是經過整理的圓桌全文：1.AI技術的滲透：每個行業都將被AI改造主持人：感謝大家來...OpenAIAGIGDP蘋果開源視覺模型界的“瑞士軍刀”，能執行數十種任務
蘋果和瑞士洛桑聯邦理工學院的研究人員聯合開源了大規模多模態視覺模型——4M21。多數大模型通常針對特定任務或數據類型進行優化，這種專業化雖然能確保在特定領域的高性能，但也限制了模型的通用性和靈活性。例如，開源模型StableDifusion只能用于文生圖，即便是Gemini這種多模態模型，也只能生成和解讀圖片。而4M21只有30億參數，卻可以提供圖像分類、目標檢測、語義分割、實例分割、深度估計、表面法線估計等數十種功能，基...蘋果開源Web2Code：適用于多模態大模型的大規模網頁轉代碼數據集與評估框架
一、結論寫在前面論文標題：Web2Code:ALargescaleWebpagetoCodeDatasetandEvaluationFrameworkforMultimodalLLMs論文鏈接：??https:arxiv.orgpdf2406.20098??項目鏈接：??https:mbzuaillm.github.iowebpage2code??多模態大型語言模型（MLLMs）在圖像、視頻和音頻等多種模態的理解和生成任務中展現了顯著的成功。然而，現有的MLLMs在理解網頁截圖并生成相應HTML代碼方面表現驚人地差。為了解決這一問題，這是一個由高質...多模態大模型轉代碼AI四大方向 分布生成可信永續
原創AI技術持續神速突破，正貫穿軟硬件并跨各行產業應用，由數字化升級到AI化，帶來人類生活與產業的各種變革。AI技術持續神速突破中，已然成為全球數字化的主流，也正貫穿軟硬件并跨產業應用，從關鍵零組件、智能裝置、軟件、平臺、應用服務等，正在形成人工智能產業生態。AI技術持續進步，融合各種新舊技術如云端、物聯網、大數據、VR／AR／XR等成為各種AIoT新應用，AI成為各行各業的數字化升級到AI化，帶來人類生活與產業的各種...人工智能生成式AI微軟重磅開源 GraphRAG：新一代 RAG 技術來了！
原創 精華1、為什么需要GraphRAG？7月3日，微軟重磅開源了基于圖的RAGGraphRAG。在GitHub上發布后，短短4天時間，該項目迅速獲得了6000Stars！足見這個項目的熱度！Github地址：https:github.commicrosoftgraphrag強化主流大模型，比如：GPT4o、Qwen2、文心一言、GLM4、Llama3的搜索、問答、摘要及推理等功能，RAG已成為這些國際國內知名AI大模型不可或缺的核心技術。過往的RAG實踐多沿襲簡約路線：文檔簡化為文本字符串，切割為零碎段落...GraphRAGRAGMMLU-Pro：新的 LLM 評估基準
一、背景上一篇文章（???LLM評估匯總：真的吊打LLaMA3，媲美GPT4嗎？??）我們簡單匯總了一些常見的LLM評估指標，以及在收集這些指標時遇到的問題。最近在看[2405.19327]MAPNeo:HighlyCapableandTransparentBilingualLargeLanguageModelSeries時發現其提到了MMLUPro評估集，之前沒有接觸到，與此同時又正好看到了對應的Paper，這里簡單進行介紹。MAPNeo和MMLUPro的部分作者是相同的。對應的Paper：[2406.01574]MMLUPro:AMor...LLM評估基準PWM: 基于世界模型的策略學習
原創強化學習（RL）在復雜任務上取得了令人矚目的成果，但在具有不同實施方式的多任務設置中存在困難。世界模型通過學習環境的模擬來提供可伸縮性，但它們通常依賴于低效的無梯度優化方法。近日，佐治亞理工學者聯合英偉達、加州大學圣地亞哥分校等學者提出了基于大世界模型的策略學習（PWM），這是一種新穎的基于模型的RL算法，它從大型多任務世界模型中學習連續控制策略。通過對離線數據進行世界模型的預訓練，并將其用于一階梯度...強化學習PWM你想要的GraphRAG的內容都在這了
最近微軟終于開源了他的GraphRAG，短短7天就集齊了6.7KStar。那GraphRAG到底是個啥？？？圖片GraphRAG的論文實際上要比代碼開源早很多，論文應是今年4月份在Arxiv上發表的，但是代碼是這個月1號才正式上傳開源。圖片項目開源地址：https:github.commicrosoftgraphrag項目幫助文檔：https:microsoft.github.iographragpostsgetstarted1.為什么要提出GraphRAG？RAG，又稱檢索增強生成（RetrievalAugumentedGeneration）。RAG目前...GraphRAGRAGLLM可擴展性長文本評測集——Ada-LEval 詳細解讀
長文本評測隨著大模型能夠處理的上下文信息越來越多，達到百萬級別的詞匯量，人們對于模型長文本能力的研究興趣也隨之增長。這些工作基于一些開源自建的數據集構建樣本，其構建評測集上的性能已可以一定程度上反映模型的能力。因此，在長文本評測這一工作里，我們認為一個好的長文本評測集應該具備以下性質：樣本長度可控：測試樣本的上下文長度最好是可控的，以便于測量和比較模型在各個上下文長度下的能力變化（若測試集由不...模型APIGPT-4
