在LLM應(yīng)用開發(fā)中，一個關(guān)鍵任務(wù)是構(gòu)建高質(zhì)量的提示，因?yàn)樘崾镜馁|(zhì)量直接影響LLM的性能表現(xiàn)。而其中至關(guān)重要的部分是上下文背景信息，RAG中的檢索目的也正是為構(gòu)造這些背景素材。

現(xiàn)在，我們將關(guān)注一個衍生問題：如何將復(fù)雜結(jié)構(gòu)的內(nèi)容倉庫（如代碼庫、網(wǎng)站等）轉(zhuǎn)換為LLM友好的格式，以便后續(xù)使用。

以代碼庫為例，開發(fā)者們普遍面臨以下痛點(diǎn)：

• 復(fù)雜的目錄結(jié)構(gòu)：大型項(xiàng)目通常包含多層嵌套的目錄和眾多文件，手動整理耗時且易出錯。
• 上下文缺失：單個文件的代碼往往缺乏完整上下文，而LLM需要全面的信息才能生成高質(zhì)量輸出。
• 格式不一致：不同類型的文件（如源代碼、配置文件、文檔等）格式各異，需統(tǒng)一處理。
• 隱私安全問題：處理私有倉庫或敏感數(shù)據(jù)時，如何確保信息安全是重要考量。
• 大規(guī)模處理效率：面對大型代碼庫，如何高效提取和處理信息成為挑戰(zhàn)。

在這一領(lǐng)域，有一個代表性項(xiàng)目repo2txt[1]，它可以將GitHub中的Repo轉(zhuǎn)換為格式化的文本文件，方便LLM理解并作為提示使用。

repo2txt的核心特性包括：

• 基于Web的直觀界面：無需安裝，即開即用，降低了使用門檻。
• 倉庫結(jié)構(gòu)可視化：清晰展示GitHub倉庫的目錄結(jié)構(gòu)，便于快速定位內(nèi)容。
• 靈活的內(nèi)容選擇：用戶可以精確選擇需要包含的文件或目錄。
• 自動格式化：將選中的內(nèi)容整合成統(tǒng)一格式的文本文件，便于LLM處理。
• 私有倉庫支持：通過個人訪問令牌，安全處理私有倉庫內(nèi)容，保障數(shù)據(jù)隱私。
• 多種輸出選項(xiàng)：生成的文本可復(fù)制到剪貼板或直接下載，滿足不同使用場景。

訪問repo2txt.simplebasedomain.com[2]即可直接使用這個工具。用戶可以選擇要包含的文件或目錄，然后生成格式化的文本文件。值得一提的是，它在瀏覽器端直接運(yùn)行，拉取代碼到本地，不涉及后端交互，從而保障了代碼隱私。

此外，還有一些同類項(xiàng)目值得關(guān)注，如files-to-prompt[3]和code2prompt[4]。

對于更泛化的場景，如復(fù)雜網(wǎng)站，保存成一個文件同樣繁瑣，而libcrawler是一個很好的解決方案，它是一個文檔爬蟲和轉(zhuǎn)換器，能爬取文檔網(wǎng)站并將頁面轉(zhuǎn)換為單一的Markdown文檔。與之類似的還有更早的SingleFile[5]，對LLM和日常工作都有很大幫助。

參考資料

[1]repo2txt: https://github.com/abinthomasonline/repo2txt

[2]repo2txt.simplebasedomain.com: https://repo2txt.simplebasedomain.com/

[3]files-to-prompt: https://github.com/simonw/files-to-prompt

[4]code2prompt: https://github.com/mufeedvh/code2prompt

[5]SingleFile: https://github.com/gildas-lormeau/SingleFile

本文轉(zhuǎn)載自 ??AI工程化??，作者： ully