[[420928]]

簡介

image-to-latex 是一個能將 LaTeX 數學方程的圖像映射到 LaTeX 代碼的應用程序。

Yuntian Deng 等人在 2016 年提出并嘗試了 image-to-markup 的問題。他們通過解析來自 arXiv 的 LaTeX 論文來源，提取了大約 10 萬個公式。他們使用 pdflatex 渲染公式并將渲染的 PDF 文件轉換為 PNG 格式。在他們的模型中，首先使用 CNN 來提取圖像特征。然后使用 RNN 對特征行進行編碼。

最后，編碼特征由 RNN 解碼器使用。該模型共有 948 萬個參數。最近，Transformer 在很多語言任務上都超過了 RNN，所以作者在這個問題上進行了新的嘗試。

項目地址：

https://github.com/kingyiusuen/image-to-latex

下載安裝

安裝

將源代碼 clone 到本地文件夾：

git clone https://github.com/kingyiusuen/image-to-latex.git 
 
cd image-to-latex 

創建名稱為 venv 的虛擬環境，并安裝所需的包：

make venv 
 
make install-dev 

數據預處理

運行以下命令下載 im2latex 數據集并進行所有預處理，圖像裁剪步驟可能需要一個多小時。

python scripts/prepare_data.py 

部署

創建 API 以使用經過訓練的模型進行預測。使用以下命令啟動并運行服務器：

make api 

可以通過 http://0.0.0.0:8000/docs 上生成的文檔查看 API 的使用方法。

模型架構

運行例子