使用Python和OpenPlayground輕松探索大語言模型
大語言模型或LLM是一種深度學習語言模型,旨在理解、解釋和生成人類語言;它通常由數百萬到數十億的神經網絡參數組成,并使用自我監督進行訓練。著名的LLM的例子包括GPT-4、BERT和LLAMA。
獲取LLM有時很棘手,因為必須遵守環境要求和規范,這成為學習LLM的把關人。幸運的是可以使用一個名為OpenPlayground的Python軟件包在筆記本電腦上有效地試驗各種LLM。
逐步探索OpenPlayground
Python軟件包OpenPlayground是一個可以在筆記本電腦上運行的LLM游樂場,可以在這里試驗模型、調整參數、進行模型比較,并通過友好的UI追蹤日志歷史記錄。他們還使用了幾個實體的著名LLM,如OpenAI、HuggingFace等等。
怎么才能開始使用OpenPlayground呢?首先,安裝該軟件包。
pip install openplayground
然后在終端上運行以下命令。
openplayground run
在終端上,將獲得以下信息。
OpenPlayground正在運行,必須訪問本地主機才能使用playground UI。
在UI中會看到三個部分:Playground,Compare和Settings。先去看看“Settings”選項卡,因為不提供必要的信息就無法工作。
當打開“Settings”時,會有一個需要選擇的“Providers”部分。對于本文的例子,將使用來自OpenAI的那個。點擊OpenAI,并提供API密鑰,使openplayground可以訪問所有模型,類似于下面的圖片。
啟用想要的模型,然后回到“Playground”選項卡。當已經選擇了一個模型,可以在右側使用其他參數。
該參數的存在是為了讓用戶輕松地探索和試驗LLM模型的結果。嘗試一個簡單的提示:“給我創作一個關于公主和魔法王國的小故事”。
生成的文本將以綠色顯示。如果啟用“Show Probabilities”,如果模型允許可以得到標記生成概率。例如,“text-DaVinci-03”模型可以顯示概率。再提交一次提示,并查看結果。
懸停在該標記上會顯示該標記出現的概率有多高。此外,還有關于前5個標記的信息,這些信息可以成為可能生成的文本。
進入“Compare”選項卡,可以比較具有相同參數的各種LLM模型生成的文本。用之前例子的相同提示進行嘗試。
“Compare”選項卡提供了同時生成文本的兩個或多個不同LLM模型的信息。這些信息包括標記、模型生成文本的速度、所花的時間以及多少個字符。
嘗試使用來自多個提供商的各種模型進行試驗,以從使用OpenPlayground中獲得更多價值。
總結
大語言模型或LLM是一個能夠理解、解釋和生成人類文本的模型。通過使用OpenPlayground,可以有一個簡單的UI來探索和實驗多個LLM。