AI.x社區
- 登錄/注冊
比Transformer更快更省，Mamba終于卷到網絡領域了
今天分享清華大學的一篇文章：NetMamba:EfficientNetworkTrafficClassificationviaPretrainingUnidirectionalMamba。網絡流量分類是一個重要的研究領域，旨在提高服務質量、簡化網絡管理并保護網絡安全。現有流量分類模型面臨兩方面挑戰：（1）模型效率不佳：廣泛使用的Transformer架構具有平方復雜度，在高速流量識別場景不可用；（2）流量表征不可靠：現有表征方案往往忽略重要字節信息或保留不必要的偏置。為了解決上述問題...Mamba網絡流量林達華團隊最新發布ReasonPix2Pix：讓基于指令的高級圖像編輯效果飛升！
文章鏈接：https:arxiv.orgpdf2405.11190基于指令的圖像編輯專注于使生成模型能夠遵循人類書寫的編輯圖像指令。當前的方法通常能夠理解明確且具體的指令。然而，它們往往在執行所需的主動推理能力上表現不足，無法很好地理解隱含或定義不足的指令。為了增強主動推理能力并賦予編輯模型智能性，本文引入了ReasonPix2Pix，一個綜合性的推理注意指令編輯數據集。該數據集的特點是：包含推理指令來自細粒度類別的更真實的圖像輸入和...模型推理深扒Ilya Sutskever：AI界的隱士大佬，但他究竟看到了什么？
要說AI界的風云人物，IlyaSutskever絕對是那個名字。作為OpenAI的聯合創始人兼首席科學家，他簡直是科技界的“掃地僧”，低調得不行，卻在暗中攪動風云。今天就帶大家來深扒一下這位AI界的超級大咖。從俄羅斯到多倫多：天才的成長之路IlyaSutskever出生于俄羅斯，后來移居加拿大，在多倫多大學完成了本科和碩士學位。說起他的導師，那可是“深度學習之父”GeoffreyHinton。想想也真是神奇，這對師徒組合簡直就是“黃金搭檔”，...AIOpenAI學術LLM | SimPO：使用無參考獎勵的簡單偏好優化
一、結論寫在前面直接偏好優化（DPO）是一種廣泛使用的離線偏好優化算法，它通過人類反饋（RLHIP）重新參數化強化學習中的獎勵函數，以增強簡單性和訓練穩定性。論文提出了SimPO，一種更簡單但更有效的方法。SimPO的有效性歸功于一個關鍵設計：使用序列的平均對數概率作為隱式獎勵。這種獎勵形式更好地與模型生成對齊，并消除了對參考模型的需求，使其在計算和內存上更高效。此外，論文在BradleyTerry目標中引入了一個目標獎勵...LLMSimPOGPUMeta 新作：FlashAttention 的數值偏差有多大？
一、背景最近Meta的研究員開發了一個新的框架來了解LLM訓練中數值偏差的影響，并基于該框架評估了LLM中廣泛采用的FlashAttention的數值偏差。對應的論文為：[2405.02803]IsFlashAttentionStablePS：其實論文很簡單，結論也很簡單：使用FlashAttention相比BaselineAttention確實會帶來數值偏差。但帶來的數值偏差比從FP32到FP16的數值偏差小得多，甚至小于不同初始化方法帶來的偏差。吐槽一下，論文中的圖都比較模糊。二、摘要LL...數值LLM訓練TigerGraph CoPilot如何實現圖形增強式AI
原創通過對比其他商用LLM的缺陷，本文詳細介紹了TigerGraphCoPilot的主要功能、優點、以及兩個關鍵用例。近年來，數據作為一種生產要素，已經能夠有能力為我們提供橫跨不同行業的變革性商業見解了。不過，如何利用好可以獲得的大數據，往往給我們帶來了不小的挑戰。一面是過載的數據，一面卻是大量未被充分利用的數據孤島。不少專業數據科學家和分析師亟待通過專業知識，讓自己所在的組織能夠在不犧牲性能和運營效率的情況下，及時...LLM生成式AIAI助手人工智能AI和數字化世界走向何方
原創2024年5月23日，美國眾議院外交事務委員會以壓倒性多數投票提交了一項法案，該法案將使拜登政府更容易限制AI系統的出口。該法案還將賦予美國商務部明確的權力，禁止美國人與外國人合作開發對美國國家安全構成威脅的AI系統。路透社本月報道稱，拜登政府準備開辟一條新的戰線，以保護美國AI避免落入他國之手，初步計劃針對最先進的AI模型設置護欄。AI的你追我趕，堪比當年的太空競賽。可以預見的是，未來50年人類生活將被人工智能...人工智能AIICML 2024：從視覺語言基礎模型反饋中進行強化學習
原創獎勵工程長期以來一直是強化學習研究中的挑戰，因為它通常需要大量人力投入。在本文中，研究人員提出了RLVLMF，它可以自動生成代理學習新任務的獎勵函數，僅利用任務目標的文本描述和代理的視覺觀察，通過利用視覺語言基礎模型（VLMs）的反饋。該方法的關鍵在于查詢這些模型，根據任務目標的文本描述對代理的圖像觀察對進行偏好，并從偏好標簽中學習獎勵函數。RLVLMF成功地在各種領域中產生了有效的獎勵和策略，包括經典控制，...視覺語言基礎模型【科技前沿】揭秘DeDoDe v2：如何革新關鍵點檢測技術，讓AI“眼”更明亮？
在人工智能領域，關鍵點檢測技術一直是計算機視覺研究的重要課題。近期，來自Link?ping大學、Chalmers大學、香港中文大學以及TexasA&M大學的科研團隊，成功推出了DeDoDev2——一款革新性的關鍵點檢測器。今天，就讓我們一起揭開DeDoDev2的神秘面紗，看看它是如何引領科技前沿，讓AI的“眼睛”更加明亮。一、技術革新，DeDoDev2應運而生在圖像處理和計算機視覺領域，關鍵點檢測是許多應用的基礎，如目標識別、圖像匹配、三維重...AIDeDoDe v2人工智能Meta等最新研究：多token預測，提升大模型推理效率
GPT4、Gemini系列、Llama3等開閉源大模型，通常使用的是下一個token預測（NexttokenPrediction）的損失函數進行預訓練。這種方法雖然強大，但有很多局限性，例如，需要大量的訓練數據才能使模型達到人類兒童的智商，并且隨著模型參數的增大推理效率會變差。因此，Meta、巴黎理工大學和巴黎薩克雷大學提出了一種全新訓練方法多token預測（MultitokenPrediction），在訓練的過程中要求模型在每個位置上同時預測接下來的n個Token，...模型訓練德勤：中國、印度等對ChatGPT等生成式AI應用，處領先地位
全球四大會計事務所之一的德勤（Deloitte）在官網發布了一份，名為《GenerativeAIinAsiaPacific:Youngemployeesleadasemployersplaycatchup》的深度調查報告。主要查看中國、澳大利亞、印度、日本、新加坡、韓國、中國臺灣等亞太地區對ChatGPT、Gemini、Midjourney、Claude和GitHubCopilot等生成式AI（AIGC）的應用情況。本次調查對象一共有11900人，其中9000名為企業員工，2900名為在校學生。結果顯示，亞太地區中的發展國家對...ChatGPT生成式AI陳丹琦團隊新作：微調8B模型超越Claude3 Opus，背后是RLHF新平替
比斯坦福DPO（直接偏好優化）更簡單的RLHF平替來了，來自陳丹琦團隊。該方式在多項測試中性能都遠超DPO，還能讓8B模型戰勝Claude3的超大杯Opus。而且與DPO相比，訓練時間和GPU消耗也都大幅減少。這種方法叫做SimPO，Sim是Simple的簡寫，意在突出其簡便性。與DPO相比，SimPO擺脫了對參考模型的需要，在簡化訓練流程的同時，還避免了訓練和推理不一致的問題。對于這項成果，普林斯頓PLI主任SanjeevArora教授這樣稱贊：和（SimPO方...模型訓練港大字節提出多模態大模型新范式，模擬人類先感知后認知，精確定位圖中物體
當前，多模態大模型（MLLM）在多項視覺任務上展現出了強大的認知理解能力。然而大部分多模態大模型局限于單向的圖像理解，難以將理解的內容映射回圖像上。比如，模型能輕易說出圖中有哪些物體，但無法將物體在圖中準確標識出來。定位能力的缺失直接限制了多模態大模型在圖像編輯，自動駕駛，機器人控制等下游領域的應用。針對這一問題，港大和字節跳動商業化團隊的研究人員提出了一種新范式Groma——通過區域性圖像編碼來提升多...模型模擬探索LangGraph：構建多專家協作模型
探索LangGraph：如何創建一個既智能又可控的航空客服AI利用單一提示的方法確實能覆蓋很廣的應用場景。但是，如果想要為特定的用戶需求提供穩定且出色的體驗，僅靠這種方法就顯得有些力不從心了。取而代之的是，我們可以通過識別用戶的意圖，并將其引導至相應的定制化流程或“技能”，來滿足用戶的具體需求。每個流程都可以專注于特定的領域，這樣不僅可以實現各自領域的優化提升，還不會影響到整體助手的性能。在本節中，我們將...LangGraph協作模型又又又又翻車！谷歌新AI功能再遭公眾批評，稱前總統奧巴馬是穆斯林，“承認谷歌違反反壟斷法”
原創編輯｜星璇出品51CTO技術棧（微信號：blog51cto）谷歌近日在谷歌搜索中首次推出了“AIOverview”，上線還不到兩周，就被爆料由于該AI功能中的查詢返回了毫無意義或不準確的結果（并且沒有任何選擇退出的方式），公眾的批評日益增多。AIOverview在Google搜索的最頂部顯示搜索問題答案的簡要摘要。例如，如果用戶搜索清潔皮靴的最佳方法，結果頁面可能會在頂部顯示“AIOverview”，其中包含多步清潔過程，這些信息是從網絡上綜合...AI谷歌反壟斷法Bengio等人新作：注意力可被視為RNN，新模型媲美Transformer，但超級省內存
序列建模的進展具有極大的影響力，因為它們在廣泛的應用中發揮著重要作用，包括強化學習（例如，機器人和自動駕駛）、時間序列分類（例如，金融欺詐檢測和醫學診斷）等。在過去的幾年里，Transformer的出現標志著序列建模中的一個重大突破，這主要得益于Transformer提供了一種能夠利用GPU并行處理的高性能架構。然而，Transformer在推理時計算開銷很大，主要在于內存和計算需求呈二次擴展，從而限制了其在低資源環境中的應用（...訓練模型ICML 2024 | 脫離LoRA架構，訓練參數大幅減少，新型傅立葉微調來了
本文介紹了香港科技大學（廣州）的一篇關于大模型高效微調（LLMPEFTFinetuning）的文章「ParameterEfficientFineTuningwithDiscreteFourierTransform」，本文被ICML2024接收，代碼已開源。論文地址：https:arxiv.orgabs2405.03003項目地址：https:github.comChaos96fourierft背景大型基座模型在自然語言處理（NLP）和計算機視覺（CV）領域都獲得了矚目的成就。微調（Finetuning）大型基座模型，使其更加適應特殊的下游任務，成...架構訓練如何靠AI變身“六邊形戰士”｜得到快刀青衣&中國AIGC產業峰會
AIGC浪潮之下，一個現實情況逐漸浮出水面：如何使用AI工具、用AIGC提高個人能力，已經開始成為每個人都需要認真思考的命題。那么，我們普通人該如何學習并靈活運用AI呢？本次中國AIGC產業峰會上，得到聯合創始人、AI學習圈主理人快刀青衣分享了如何通過AIGC高效提升個人能力。作為資深產品經理，他介紹了得到團隊研發及實際應用AI產品的過程經驗，為我們展示了AI在實際工作場景中的應用價值。為了完整體現快刀青衣的思考，在不...AIGCAI計算機視覺關鍵技術
目標檢測與識別：目標是從圖像或視頻中識別出特定的目標，如人臉、車輛、動物等。常用的方法包括Haar特征級聯、卷積神經網絡(CNN)、區域卷積神經網絡(RCNN)以及FasterRCNN、YOLO、SSD等模型。特征提取：特征提取是計算機視覺中的核心技術，旨在從圖像或視頻中提取出具有代表性的特征。常見方法包括SIFT、SURF、HOG及LBP，這些方法可以將圖像特征轉化為向量化或矩陣形式，便于后續處理。圖像分割：圖像分割是將圖像分成若干個具...計算機視覺NB！他12歲就能寫代碼，為數百萬程序員引路~
好的故事總能激勵人前行，好的工作也是一個巨大的跳板！以及最關鍵的是敢于對你領導的不合理要求說“NO”！它不僅有助于保護我們自己的職業健康，也能真的確保項目以更合理和高效的方式推進這對你來說也許是一個好的“跳板”，??前后端測試崗??均可投：點它即可RobertC.Martin，世界級編程大師，設計模式和敏捷開發先驅，敏捷聯盟首任主席，C++Report前主編，被后輩程序員尊稱為“Bob大叔”。20世紀70年代初成為職業程序員...前端后端程序員javaC++
