Gemma：我們最先進的開放模型

發(fā)布于 2024-3-28 09:51

瀏覽

0收藏

在 Google ，我們致力于??讓 AI 助力每個人??。長期以來，我們對開放社區(qū)的創(chuàng)新貢獻了許多成果，如 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold 和 AlphaCode。今天，我們很高興地介紹 Google 的新一代開放模型，以協(xié)助開發(fā)者和研究人員負責(zé)任地構(gòu)建 AI。

開放模型 Gemma

Gemma 是先進的輕量級開放模型系列，采用了與創(chuàng)建 Gemini 模型相同的研究和技術(shù)。受到 Gemini 的啟發(fā)，Google DeepMind 和 Google 其他團隊合作開發(fā)了 Gemma，并用拉丁語中意為“寶石”的 gemma 為其命名。在發(fā)布模型權(quán)重的同時，我們還推出了一系列工具，旨在支持開發(fā)者創(chuàng)新，促進合作，并指導(dǎo)如何負責(zé)任地使用 Gemma 模型。

從今天起，Gemma 在全球范圍內(nèi)開放使用。以下是有關(guān)該模型的關(guān)鍵細節(jié)：

我們將發(fā)布兩種權(quán)重規(guī)模的模型：Gemma 2B 和 Gemma 7B。每種規(guī)模都有預(yù)訓(xùn)練和指令微調(diào)版本。
新的 Responsible Generative AI Toolkit 為使用 Gemma 創(chuàng)建更安全的 AI 應(yīng)用程序提供指導(dǎo)和必備工具。
我們通過原生 Keras 3.0 為所有主要框架（JAX、PyTorch 和 TensorFlow）提供推理和監(jiān)督微調(diào)（SFT）的工具鏈。
上手即用 Colab 和 Kaggle notebooks，以及與 Hugging Face、MaxText 和 NVIDIA NeMo 等受歡迎的工具集成，讓開始使用 Gemma 變得簡單容易。
經(jīng)過預(yù)訓(xùn)練和指令微調(diào)的 Gemma 模型可以在您的筆記本電腦、工作站或 Google Cloud 上運行，并可輕松部署在 Vertex AI 和 Google Kubernetes Engine（GKE）上。
基于多個 AI 硬件平臺進行優(yōu)化，確保業(yè)界領(lǐng)先的性能表現(xiàn)，其中包括 NVIDIA GPUs 和 Google Cloud TPUs。
使用條款允許所有組織（無論規(guī)模大小）負責(zé)任地進行商用和分發(fā)。

同等規(guī)模最領(lǐng)先的性能

Gemma 模型與我們規(guī)模最大、能力最強的 AI 模型 Gemini 共享技術(shù)和基礎(chǔ)架構(gòu)。這使得 Gemma 2B 和 7B 與其他開放模型相比，展現(xiàn)出同等規(guī)模最先進的性能。同時，Gemma 可以直接在開發(fā)者的筆記本電腦或臺式機上運行。值得注意的是，Gemma 在關(guān)鍵基準(zhǔn)測試集上大大超過了更大的模型，同時還嚴(yán)格遵守了我們對安全和負責(zé)任輸出的標(biāo)準(zhǔn)。有關(guān)性能、數(shù)據(jù)集對比和建模方法的詳細信息，請參見技術(shù)報告。

Gemma：我們最先進的開放模型-AI.x社區(qū)

負責(zé)任的設(shè)計

Gemma 在設(shè)計時將我們的 AI 原則放在首位。為了使 Gemma 預(yù)訓(xùn)練模型安全可靠，我們使用自動技術(shù)，從訓(xùn)練集中過濾掉特定的個人信息及其他敏感數(shù)據(jù)。此外，我們進行了大量的微調(diào)和人類反饋強化學(xué)習(xí)（RLHF），使我們的指令微調(diào)模型與負責(zé)任的行為保持一致。為了解并降低 Gemma 模型帶來的風(fēng)險，我們進行了強有力的評估，包括手工紅隊測試、自動對抗性測試，以及對危險活動的模型能力評估。我們在 Model Card 中闡述了這些評估。

我們與 Gemma 一道發(fā)布了新的 Responsible Generative AI Toolkit，幫助開發(fā)者和研究人員優(yōu)先構(gòu)建安全和負責(zé)任的 AI 應(yīng)用。這些工具包括：

安全分類：我們提供了一種新的方法，可利用最少的樣品來構(gòu)建穩(wěn)定的安全分類器。
調(diào)試工具：模型式調(diào)式工具幫助你了解 Gemma 的行為，并解決潛在的問題。
應(yīng)用指南：你可以根據(jù) Google 在開發(fā)和部署大型語言模型方面的經(jīng)驗，獲取模型構(gòu)建者的最佳實踐。

跨框架、工具和硬件的優(yōu)化

您可以基于自己的數(shù)據(jù)微調(diào) Gemma 模型以適應(yīng)特定應(yīng)用需求，例如摘要或檢索增強生成 (RAG)。Gemma 可支持多種工具和系統(tǒng)：

多框架工具：Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多個框架的參考實現(xiàn)，您可以選擇熟悉的框架進行推理和微調(diào)。
跨設(shè)備兼容：Gemma 模型可以在筆記本電腦、臺式機、物聯(lián)網(wǎng)、移動設(shè)備和云端等多個主流設(shè)備類型上運行，支持廣泛的 AI 功能。
前沿的硬件平臺： 我們與 NVIDIA 合作，使用 NVIDIA GPU 來優(yōu)化 Gemma 模型，確保業(yè)界領(lǐng)先的性能與前沿技術(shù)的整合應(yīng)用。
基于 Google Cloud 的優(yōu)化：Vertex AI 提供廣泛的 MLOps 工具集，其中包含一系列微調(diào)選項和內(nèi)置推理優(yōu)化的一鍵部署功能。您可以使用完全托管的 Vertex AI 工具或自行管理的 GKE 來進行高級定制，以經(jīng)濟高效的方式自行選擇部署在 GPU、TPU 或 CPU 基礎(chǔ)設(shè)施上。

免費的積分來進行研究和開發(fā)

Gemma 為開放社區(qū)構(gòu)建，旨在推動開發(fā)者和研究人員的 AI 創(chuàng)新。您可以通過 Kaggle 的免費訪問權(quán)限、Colab notebooks 免費層、以及 Google Cloud 新用戶可獲得的 300 美元積分立即開始使用 Gemma。研究人員還可以申請高達 50 萬美元的 Google Cloud 積分以加速他們的項目。