背景介紹

在當今的企業環境下，很多的公司都在落地大模型相關的應用。但是并不是每個公司都具備相應的專業大模型的人才，能夠很好的處理大模型落地過程中碰到的問題。

今天要給大家推薦一個 GitHub 開源項目 llmware-ai/llmware，該項目在 GitHub 有超過 1.6k Star，用一句話介紹該項目就是：“Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models.”。

項目介紹

llmware 是一個專為企業級 LLM 開發的框架、工具和模型。該項目在私有云中將企業知識與 LLM 安全并有效地整合，以便于創建出專業的、基于知識的企業 LLM 應用。主要功能包括：

1、提供高性能的文檔解析器以快速處理多種常用文檔類型；

2、提供完整的直觀的查詢方法，如語義查詢，文本查詢以及混合查詢；

3、支持人類參與評估、反饋和糾正 AI 的響應；

4、可靈活地分析和審核 LLM 提示生命周期，等等。

此外，llmware 還提供快速開始使用增強型檢索生成（RAG）的教程和視頻，以便于讓大家探索并掌握這個開源項目。

如何使用

llmware 的安裝和使用十分方便，可以通過 pip 命令進行安裝。

pip3 install llmware

對于 MongoDB 和 Milvus 的使用者，llmware 可以直接通過 Docker Compose 文件進行安裝，以便于提供生產級的數據庫和向量嵌入能力。安裝完成后，只需引入 llmware 庫即可開始編寫代碼。

from llmware.models import ModelCatalog

ModelCatalog().get_llm_toolkit()  # get all SLIM models, delivered as small, fast quantized tools 
ModelCatalog().tool_test_run("slim-sentiment-tool") # see the model in action with test script included

項目推介

llmware 構建的框架由四大主要組件組成，可以滿足全面而多元的業務需要。

以下是該項目 Star 趨勢圖（代表項目的活躍程度）：

更多項目詳情請查看如下鏈接。

開源項目地址：https://github.com/llmware-ai/llmware

開源項目作者：llmware-ai