LazyLLM：低代碼構建多Agent大模型應用的開源項目
LazyLLM是一款低代碼構建多Agent大模型應用的開發工具，協助開發者用極低的成本構建復雜的AI應用，可以持續的迭代優化效果。提供了便捷的搭建應用的workflow，為應用開發過程中的各個環節提供了大量的標準流程和工具。
基于LazyLLM的AI應用構建流程：原型搭建 -> 數據回流 -> 迭代優化，可以先基于LazyLLM快速跑通應用的原型，再結合場景任務數據進行bad-case分析，然后對應用中的關鍵環節進行算法迭代和模型微調，進而逐步提升整個應用的效果。
LazyLLM基本概念
Component
Component是LazyLLM中最小的執行單元，它既可以是一個函數，也可以是一個bash命令。
Module
Module是LazyLLM中的頂層組件，具備訓練、部署、推理和評測四項關鍵能力，每個模塊可以選擇實現其中的部分或者全部的能力，每項能力都可以由1到多個Component組成。如下表所示，內置了一些基礎的Module供大家使用。
Flow
Flow是LazyLLM中定義的數據流，描述了數據如何從一個可調用對象傳遞到另一個可調用的對象，可以利用Flow直觀而高效地組織和管理數據流動。基于預定義好的各種Flow，可以借助Module、Component、Flow甚至任一可調用的對象，輕松地構建和管理復雜的應用程序。目前LazyLLm中實現的Flow有Pipeline、Parallel、Diverter、Warp、IFS、Loop等，幾乎可以覆蓋全部的應用場景。
使用指南
對話機器人
# set environment variable: LAZYLLM_OPENAI_API_KEY=xx # or you can make a config file(~/.lazyllm/config.json) and add openai_api_key=xximport lazyllmt = lazyllm.OnlineChatModule(source="openai", stream=True)w = lazyllm.WebModule(t)w.start().wait()如果使用一個本地部署的模型，請確保自己安裝了至少一個推理框架(lightllm或vllm)
import lazyllm# Model will be download automatically if you have an internet connectiont = lazyllm.TrainableModule('internlm2-chat-7b')w = lazyllm.WebModule(t)w.start().wait()檢索增強生成（RAG）
支持RAG常用組件：Document、Parser、Retriever、Reranker等。
import osimport lazyllmfrom lazyllm import pipeline, parallel, bind, _0, Document, Retriever, Reranker
prompt = '你將扮演一個人工智能問答助手的角色，完成一項對話任務。在這個任務中，你需要根據給定的上下文以及問題，給出你的回答。'documents = Document(dataset_path='/file/to/yourpath', embed=TrainableModule('bge-large-zh-v1.5'))with pipeline() as ppl: with parallel().sum as ppl.prl: prl.retriever1 = Retriever(documents, parser='CoarseChunk', similarity_top_k=6) prl.retriever2 = Retriever(documents, parser='SentenceDivider', similarity='chinese_bm25', similarity_top_k=6) ppl.reranker = Reranker(types='ModuleReranker', model='bge-reranker-large') | bind(ppl.input, _0) ppl.post_processer = lambda nodes: f'《{nodes[0].metadata["file_name"].split(".")[0]}》{nodes[0].get_content()}' if len(nodes) > 0 else '未找到' ppl.formatter = (lambda ctx, query: dict(context_str=ctx, query_str=query)) | bind(query=ppl.input) ppl.llm = lazyllm.TrainableModule('internlm2-chat-7b').prompt(lazyllm.ChatPrompter(prompt, extro_keys=['context_str'])) mweb = lazyllm.WebModule(ppl, port=23456).start().wait()
- 故事創作
import lazyllmfrom lazyllm import pipeline, warp, bindfrom lazyllm.components.formatter import JsonFormatter
toc_prompt=""" 你現在是一個智能助手。你的任務是理解用戶的輸入，將大綱以列表嵌套字典的列表。每個字典包含一個 `title` 和 `describe`，其中 `title` 中需要用Markdown格式標清層級，`describe` `describe` 是對該段的描述和寫作指導。
請根據以下用戶輸入生成相應的列表嵌套字典：
輸出示例:[ { "title": "# 一級標題", "describe": "請詳細描述此標題的內容，提供背景信息和核心觀點。" }, { "title": "## 二級標題", "describe": "請詳細描述標題的內容，提供具體的細節和例子來支持一級標題的觀點。" }, { "title": "### 三級標題", "describe": "請詳細描述標題的內容，深入分析并提供更多的細節和數據支持。" }]用戶輸入如下："""
completion_prompt="""你現在是一個智能助手。你的任務是接收一個包含 `title` 和 `describe` 的字典，并根據 `describe` 中的指導展開寫作輸入示例:{ "title": "# 一級標題", "describe": "這是寫作的描述。"}
輸出:這是展開寫作寫的內容接收如下：
"""
writer_prompt = {"system": completion_prompt, "user": '{"title": {title}, "describe": {describe}}'}
with pipeline() as ppl: ppl.outline_writer = lazyllm.OnlineChatModule(source="openai", stream=False).formatter(JsonFormatter()).prompt(toc_prompt) ppl.story_generater = warp(lazyllm.OnlineChatModule(source="openai", stream=False).prompt(writer_prompt)) ppl.synthesizer = (lambda *storys, outlines: "\n".join([f"{o['title']}\n{s}" for s, o in zip(storys, outlines)])) | bind(outlines=ppl.outline_writer)
print(ppl({'query':'請幫我寫一篇關于人工智能在醫療領域應用的文章。'}))規劃：LazyLLM v0.2的目標是打造一個支持常見的AI-Agent應用場景，并在各個場景下支持靈活定制的AI應用開發框架。
LazyLLM支持10個場景的任務：
LazyLLM v0.2 PRD：https://aicarrier.feishu.cn/wiki/BeFfwBFv8iXq7vkVGyrcv1kGnIh
docs：https://lazyllm.readthedocs.io/
github https://github.com/LazyAGI/LazyLLM本文轉載自??PaperAgent??
