背景介紹

在當今這個數據爆炸的時代，語言模型的訓練變得越來越復雜和困難。我們需要巨大的計算資源和時間來訓練一個高效的語言模型。然而，這對許多人來說并不現實。與此同時，我們也遇到了如何在有限的內存和計算資源中使用大型語言模型的挑戰，特別是在邊緣設備上。

今天要給大家推薦一個 GitHub 開源項目 jzhang38/TinyLlama，該項目在 GitHub 有超過 4.3k Star，用一句話介紹該項目就是：“The TinyLlama project is an open endeavor to pretrain a 1.1B Llama model on 3 trillion tokens.”。

項目介紹

TinyLlama 旨在預訓練一個在 3 萬億的 token 上的 1.1B Llama 模型。在一些恰當的優化下，我們可以在短短 90 天內使用 16 個 A100-40G GPUs 來達到這個目標。該項目采用了與 Llama 2 完全相同的架構和 tokenizer，這意味著 TinyLlama 可以在許多基于 Llama 的開源項目中插入并使用。此外，TinyLlama 非常緊湊，只有 1.1B 的參數。這種緊湊性使其能夠滿足許多需要限制計算和內存占用的應用。

如何使用

直接下載模型就可以使用，或者通過 huggingface 使用 demo。

如果你想自己訓練的話，參考如下訓練詳情。

項目推介

TinyLlama 是一個令人興奮的開源項目，它正在積極解決一些關鍵問題，并在開源社區中得到了廣泛的關注。

以下是該項目 Star 趨勢圖（代表項目的活躍程度）：

更多項目詳情請查看如下鏈接。

開源項目地址：https://github.com/jzhang38/TinyLlama

開源項目作者：jzhang38

以下是參與項目建設的所有成員：