Octopus-V2-2B是一個(gè)具有20億參數(shù)的先進(jìn)開(kāi)源語(yǔ)言模型，代表著Nexa AI在大型語(yǔ)言模型（LLMs）在函數(shù)調(diào)用方面的研究突破，特別針對(duì)Android API進(jìn)行了定制。與需要潛在函數(shù)參數(shù)的詳細(xì)描述（有時(shí)需要多達(dá)數(shù)萬(wàn)個(gè)輸入標(biāo)記）的檢索增強(qiáng)生成（RAG）方法不同，Octopus-V2-2B在其訓(xùn)練和推理階段都引入了獨(dú)特的功能token策略。這種方法不僅使其能夠達(dá)到與GPT-4可比較的性能水平，而且還顯著提高了其推理速度，超越了基于RAG的方法，使其在邊緣計(jì)算設(shè)備上尤為有益。

?? 在設(shè)備上的應(yīng)用：Octopus-V2-2B被設(shè)計(jì)成能夠在A(yíng)ndroid設(shè)備上無(wú)縫運(yùn)行，擴(kuò)展了其在從Android系統(tǒng)管理到多設(shè)備編排等各種應(yīng)用中的效用，展示了其適應(yīng)性和在設(shè)備上集成的潛力。

?? 推理速度：在基準(zhǔn)測(cè)試中，章魚(yú)-V2-2B展示了出色的推理速度，在單個(gè)A100 GPU上表現(xiàn)比“Llama7B + RAG解決方案”組合快出36倍。此外，與依賴(lài)于集群A100/H100 GPU的GPT-4-turbo（gpt-4-0125-preview）相比，Octopus-V2-2B快168%。這種效率歸因于獨(dú)特的功能token設(shè)計(jì)。

?? 準(zhǔn)確性：Octopus-V2-2B不僅在速度上表現(xiàn)出色，而且在準(zhǔn)確性上也表現(xiàn)出色，其函數(shù)調(diào)用準(zhǔn)確性超過(guò)了“Llama7B + RAG解決方案”31%。它實(shí)現(xiàn)了與GPT-4和RAG + GPT-3.5相媲美的函數(shù)調(diào)用準(zhǔn)確性，在基準(zhǔn)數(shù)據(jù)集上得分在98%至100%之間。

?? 函數(shù)調(diào)用能力：章魚(yú)-V2-2B能夠在各種復(fù)雜場(chǎng)景中生成單個(gè)、嵌套和并行函數(shù)調(diào)用。

使用示例

評(píng)測(cè)結(jié)果

論文：??https://arxiv.org/pdf/2404.01744.pdf??

模型地址：??https://huggingface.co/NexaAIDev/Octopus-v2??

譯自（有刪改）：https://huggingface.co/NexaAIDev/Octopus-v2

本文轉(zhuǎn)載自公眾號(hào)AIGC最前線(xiàn) 

原文鏈接：??https://mp.weixin.qq.com/s/Xob5ILvaMF2_4f6_X94aqA??