有了大型語言模型的加持，開發者可以實現很多全新的功能，適應更廣泛的應用場景。

甚至LLM本身就具有編碼能力，可以把自然語言指令直接轉成代碼，用戶只需要提出想法、創意就能自動生成一個應用程序。

而作為大型語言模型開發框架的兩大巨頭，LangChain和DemoGPT最近官宣開展深度合作，用戶可以利用LangChain用自然語言來構建、生成一個應用程序，然后在DemoGPT Marketplace上進行展示、交換，與目標用戶進行互動，獲取社區反饋，并最終將應用程序進行變現。

圖片

也就是說，基本不用寫代碼，只需要一個足夠好的創意，就可以躺著掙錢了！

DemoGPT：LangChain應用的新戰場

DemoGPT是一個開源項目，致力于增強、簡化基于大型語言模型（LLM）的應用程序開發流程，DemoGPT的核心競爭力在于協同各種基礎模型的功能，只需一個提示即可自動生成LangChain x Streamlit應用程序。

圖片

從DemoGPT的運行框架和架構設計中可以發現，DemoGPT是一個面向代碼生成操作的結構化方法。

主要包括規劃、任務創建、代碼段生成、代碼段合并、數據庫保存，每個階段都在確保最佳功能和效率方面發揮著關鍵作用。

規劃（Planning）：先根據用戶的指令生成一個規劃

當用戶提交指令后，首先會調用規劃模塊，這一部分也是DemoGPT整體結構的基石，因為后續步驟高度依賴于HuggingGPT啟發的有效全局規劃。

不過與HuggingGPT直接根據指令生成任務列表不同的是，DemoGPT首先用自然語言創建規劃，再創建任務列表，這種處理方式對于LLM來說更直觀。

規劃模塊知道所有可用的工具集以最小化幻覺問題，還使用了一個自我完善（self-refining）的策略，以便持續規劃，直到被自己驗證通過為止。

圖片

任務創建（Task Creation）：使用計劃和指令創建特定任務

在實驗結果中可以看到，相比直接從指令中生成任務列表，使用自然語言規劃可以最大限度地減少幻覺。

圖片

DemoGPT的新方法也減少了任務創建過程中所需的細化步驟的數量，自我完善的子階段也有助于擺脫幻覺：模塊會檢查每個任務的（輸入，輸出）數據對，然后根據生成結果給自己反饋，再根據最后一次迭代的結果再次生成任務，并持續循環此過程直到通過測試。

代碼段生成（Code Snippet Generation:）：將任務轉換為Python代碼片段

每個任務都需要特定的提示符，因此當把目標任務轉換為Python代碼時，需要使用自定義的提示符進行轉換；轉換過程中考慮到了之前生成的代碼，因此所有的步驟都可以很好地協同運行。

圖片

組合代碼段（Combining the Code Snippets）：代碼片段被組合成最終代碼，實現交互式應用程序

所有代碼段都將被放入提示符中，要求語言模型將代碼組合在一起；最終代碼需要與Streamlit兼容（例如狀態管理等），模塊的輸出通過自我完善技術實現進一步改進，以確保與Streamlit兼容。

圖片

數據庫保存（DB saving下一版本中推出）：生成的計劃、任務和代碼片段存儲在矢量數據庫中

在整個架構中，每一個階段都在對輸出進行自我優化以擺脫幻覺的問題。

此外，每個模塊都有專門的樣例用于少樣本學習，適配了大部分應用場景，使得應用程序可以創建更輕量級的模型，如不到GPT-4十分之一成本的GPT-3.5模型。

為了進一步降低成本并提高性能，數據庫保存模塊旨在將完善后的結果（規劃、任務和代碼片段）保存到矢量數據庫中，以便下次從矢量數據庫中獲取相關示例并用于少樣本學習，以減少完善步驟的數量，可以進一步降低應用程序生成的成本，同時提高生成速度。

DemoGPT實戰

安裝DemoGPT

安裝過程只需要一行命令即可。

pip install demogpt

使用DemoGPT

用戶可以通過CLI或Python接口來使用DemoGPT庫。

命令行接口（CLI）

用戶只需要在控制臺鍵入demogpt命令，即可將DemoGPT應用程序作為Streamlit應用程序運行，運行后即可輸入自己的API密鑰并選擇要使用的基礎模型。

當一切準備就緒后，用戶可以從提示符開始創建應用程序，只需要幾秒鐘就可以打造出一個PDF聊天機器人，或者打造出一個情感分析工具，接收網站內容，并返回文本的語氣。

應用程序只會受到給定提示的限制，因此使用較長的提示，用戶就可以創建出復雜且獨特的AI應用程序。

圖片

比如說推文生成器，DemoGPT可以從給定的主題標簽和tweet的語氣生成推文。

網絡博主（Web Blogger）可以從給定的網站url中生成中等長度的博客。

Python庫用法

用戶也可以將DemoGPT應用程序作為Python庫運行，合并到已有的Python應用中：

from demogpt import DemoGPT#實例化DemoGPT代理agent = DemoGPT(model_name="gpt-3.5-turbo-0613", openai_api_key="YOUR_API_KEY", max_steps=10)#設置您的指令和標題instruction = "Your instruction here"title = "Your title here"#迭代生成階段并提取最終代碼code = ""for phase in agent(instructinotallow=instruction, title=title):    print(phase)  # This will display the resulting JSON for each generation stage.    if phase["done"]:        code = phase["code"]  # Extract the final code.print(code)

LangChain x DemoGPT：從創意到市場

假設有一位AI愛好者，并且她有一個關于語言模型的、功能強大的應用程序開發的絕妙想法，那她就可以訪問LangChain網站，并使用集成的DemoGPT應用程序來實現自己的想法。

圖片

首先需要在LangChain網站上生成應用程序，只需要通過一些提示和輸入即可完成制作，并且能夠實時接入現實世界。

經過調試后，只要對應用程序的運行結果感到滿意，Sarah就可以在DemoGPT Marketplace上展示應用程序，全球觀眾都可以訪問使用。

圖片

網址鏈接：https://www.langchain.com/

其他開發人員、企業或AI愛好者都可以在網站上發現Sarah的應用程序，與之交互，提供反饋，甚至提出協作請求來提升應用程序的效果。

圖片

此外，Marketplace也為用戶提供了通過許可或API銷售將其應用程序變現的機會。

隨著應用程序獲得更多關注，接收到更多社區的反饋后，用戶還可以回到LangChain網站上來迭代和改進應用程序，確保功能上與用戶保持相關且有價值。

整個創建、展示、反饋和改進的循環過程確保了LangChain x DemoGPT生態系統保持活力、創新和以用戶為中心。

除此之外，DemoGPT和LangChain合作后，最讓人感到興奮的前景之一就是DemoGPT Marketplace，開發者希望可以打造出一個平臺，讓LangChain社區與全球的AI愛好者一起，共同創建、展示、交換甚至將其自動生成的應用程序變現。

DemoGPT Marketplace不僅僅是一個平臺，還將是一個充滿活力的社區和空間，LangChain用戶可以在其中協作，迭代和改進應用程序，確保該生態系統保持動態，以用戶為中心，并處于技術進步的前沿。

隨著Streamlit帶來的交互性和用戶體驗的增強，這些應用程序將不僅僅是功能性的，而且會帶來真正的變革。

平臺的未來

當用戶在LangChain上制作出獨一無二的應用程序時，開發團隊希望并設想這些創新的作品可以在DemoGPT Marketplace上找到一個新家，并和其他的應用程序共同展示，讓更廣泛的受眾可以發現、互動并從這些工具中獲得價值。

此次LangChain x DemoGPT合作背后的愿景是建立一個協同生態系統，用戶在LangChain上實現應用程序生成，并在DemoGPT Marketplace上提供一個發現平臺，彌合創作者和消費者之間的差距，可以說是LLM世界的巨大進步！

參考資料：

https://blog.langchain.dev/langchain-demogpt-new-era-for-gen-ai-applications/