使用FastAPI整合Gradio和Django
大家好,我是每天分享AI應用的螢火君!
經常接觸機器學習的同學可能都接觸過Gradio這個框架,Gradio是一個基于Python的專門為機器學習項目創建的快速開發框架,可以讓開發者快速發布自己的模型給用戶測試,目前Huggingface上的機器學習項目都是基于Gradio對外提供服務的。
不過Gradio的目標是機器學習模型的快速演示,真正為用戶提供服務時,我們還有很多需要關注的方面,比如用戶的鑒權授權、消息通知、靜態頁面、SEO優化等等,這些使用Gradio有點捉襟見肘,我們還需要使用更加成熟的Web開發框架,比如Django這種。
但是我們初期可能已經用Gradio做了很多的功能,不想重寫這些東西,這時候就產生了集成Gradio到其它框架的需求。這篇文章就來分享如何將Gradio集成到成熟的Web框架Django,以方便后來者。
創建Django項目
這里假設我們已經有了一個Gradio的項目,將在這個項目中繼續創建一個Django項目。
創建 Django 項目
首先通過 pip 安裝 Django:
pip install django
然后在程序的根目錄初始化Django項目的一些基礎文件:
django-admin startproject myproject
cd myproject
這里的 myproject 需要替換成你的 Django 項目名。
然后我們還要繼續創建 Django 應用,應用可以理解為模塊,比如項目下有管理模塊、用戶模塊、支付模塊和具體的業務單元模塊。每個應用都有自己的模型、視圖、模板和 URL 路由。
python manage.py startapp myapp
請將myapp改為你的應用名稱。
執行完這些命令之后,項目中將會增加一些Django的框架腳本。
創建 Django 頁面
有了Django的基礎腳本,然后就可以開發Web頁面了。
1個頁面涉及三個方面:視圖、路由和HTML模板,還是以 myapp 為例:
在 myapp/views.py 中創建一個視圖:
from django.shortcuts import render
def index(request):
return render(request, 'index.html')
在 myapp/urls.py 中設置 URL 路由到這個視圖:
from django.urls import path
from .views import index
urlpatterns = [
path('', index, name='index'),
]
在 myapp/templates/index.html 創建 HTML 模板:
<!DOCTYPE html>
<html>
<head>
<title>Gradio in Django</title>
</head>
<body>
<h1>Welcome to My App</h1>
</body>
</html>
然后我們就可以啟動程序,在瀏覽器訪問這個頁面了:
uvicorn myproject.wsgi:application --reload
啟動程序使用的是 uvicorn工具,myproject是項目的名稱,wsgi對應到myproject文件夾下的 wsgi.py。
集成Gradio到Django
準備一個Gradio項目
為了演示,這里準備一個Gradio的程序。
假設文件路徑為:gradio/app.py
import gradio as gr
def greet(name):
return f"Hello {name}!"
# 定義 Gradio 接口
demo = gr.Interface(fn=greet, inputs="text", outputs="text")
整合 Gradio 和 Django
現在我們把 Gradio 集成到 Django 中,它們將在同一個進程中運行,對外使用一個端口號。Django 默認通過根目錄 / 進行訪問,Gradio則通過 /gradio 進行訪問。
這里走過一些彎路,有問題的方法就不講了,直接給出我的方案。
這里還要引入一個框架 FastAPI,我們將使用 FastAPI 來代理對 Gradio 和 Django 的訪問,所以其實不是將Gradio集成到Django,這個方法本質上是將 Gradio 和 Django 整合到一起。
打開 myproject/wsgi.py,這是 Django 項目的主文件:
import os
from django.core.wsgi import get_wsgi_application
from fastapi import Request, Response
from starlette.middleware.wsgi import WSGIMiddleware
import gradio as gr
from gradio.app import demo
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')
# 創建 FastAPI 應用
app = FastAPI()
# 掛載 Gradio 到FastAPI,注意這個path要和下邊中間件中的一致
app = gr.mount_gradio_app(app, demo, path="/gradio")
# 獲取 Django 的 WSGI 應用
django_app = get_wsgi_application()
# 注冊一個FastAPI中間件,實現
@app.middleware("http")
async def route_middleware(request: Request, call_next):
# 如果路徑是 /gradio,則調用call_next,FastAPI框架會交給已經注冊的 Gradio程序 處理
if request.url.path.startswith("/gradio"):
return await call_next(request)
# 否則交給Django處理
response = Response()
async def send(message):
if message['type'] == 'http.response.start':
response.status_code = message['status']
response.headers.update({k.decode(): v.decode() for k, v in message['headers']})
elif message['type'] == 'http.response.body':
response.body += message.get('body', b'') # 注意這里用 += 來累積響應體
await WSGIMiddleware(django_app)(request.scope, request.receive, send)
response.headers["content-length"] = str(len(response.body))
return response
這段代碼的邏輯也比較簡單,先創建FastAPI應用,然后將Gradio程序掛載到FastAPI,這里使用的是Gradio自帶的mount_gradio_app方法,然后創建了一個FastAPI的中間件,對不同的路由使用不同的處理。
重點就在這個FastAPI中間件,它可以保證通過 /gradio 訪問到Gradio程序,通過 / 訪問到 Django 程序。
如果我們使用下面的這種方式來代理 Django,實測將不能通過 /gradio 訪問到Gradio程序,無論 Gradio 和 Django 誰先注冊。如果你的環境可以,歡迎留下你的各個 package 的版本。
app.mount("/", WSGIMiddleware(django_app))
靜態文件的訪問
因為靜態文件是每個Web程序幾乎避不開的,比如圖片、css、js等,所以這里特別提下。
在上邊的路由中間件中,除了 /gradio 會路由到Gradio程序,其它都會走Django進行處理,靜態文件也不例外。
這里假設靜態文件放在 static 目錄下。
打開 myproject/settings.py,這是 Django 項目的基礎設置文件,修改其中靜態文件的部分:
STATIC_URL = '/static/'
if DEBUG:
STATICFILES_DIRS = [
os.path.join(BASE_DIR, "static"),
]
else:
STATIC_ROOT = os.path.join(BASE_DIR, 'static')
打開 myproject/urls.py,修改其中的路由定義,增加 re_path 這一行。
urlpatterns = [
re_path('^static/(?P<path>.*)', serve, {'document_root': settings.STATIC_ROOT}),
path('', include('myapp.urls')), # 包含 myapp 的 URL 配置
]
這樣可以在調測和生產環境都能正常訪問 static 目錄下的靜態文件,而不用再進行不同的設置。
總結
本文分享了一種整合 Gradio 和 Django 程序的方法,在這種方法下,Gradio 和 Django 可以使用同一個進程,使用相同的端口號對外服務,同時Gradio程序使用子目錄 /gradio 進行訪問,Django 程序使用根目錄 / 進行訪問。
因本人對 Django 和 Gradio 的了解有限,文中介紹的方法可能存在瑕疵,請謹慎使用。