AI架構系列：去其形而留其意 原創
最近很多的咨詢都在問我相同的問題，如何將LLM集成到垂直領域的業務場景。這里提到的場景當然這些場景不再是生成式應用，而是較為專業的領域。我翻了一篇三月份的論文，以這篇論文來回答讀者的問題。其實就是要將LLM去其形，而留其意。
LLM的主要戰場還是在于自然語言的理解。其一它的特點是大，其二它的內核為Transformer引擎，這種引擎能夠在所有的輸入中提取有用的關聯信息。這些信息可以是自然語言識別，也可以是時序數據，也可以是基于時點的場景快照。其三，它具備一定的推理能力。
它的弱點就是它畢竟還是模型，依賴于數據，而每次接受新的數據，需要重新校正它的認知，這個的功耗還是很大，的確比不上人腦。外掛知識庫也是一種辦法，只不過和大家考試之前臨時抱佛腳一樣，還是無法融會貫通。
理解了上面的內容之后，如何將現實場景和LLM結合，若不想自己構建自己的深度學習模型，那么如何依靠現有開源的LLM，那些從一個例子入手：紅綠燈。
大都市地區的交通擁堵帶來了巨大的挑戰，交通信號控制（TSC）系統在這項工作中至關重要。傳統的TSC系統基于基于規則的算法或強化學習（RL）設計，在管理城市交通流量的復雜性和可變性方面經常表現出缺陷，受到對陌生場景的適應能力的限制。
這篇論文的研究提出一種思路，將大型語言模型LLMs集成到TSC中，利用其先進的推理和決策能力。論文提出一種混合框架，LLMs該框架通過一套感知和決策工具進行增強，便于對靜態和動態交通信息的查詢。這種設計將外部LLM交通數據與已建立的TSC方法相結合。研究還涉及了一套仿真系統證明該系統能夠適應多種交通環境，而無需額外的培訓。外掛知識庫RAG在這里替換為感知和決策工具，有點類似代理（Agent）意思。
a展示了傳統的TSC系統，其決策是由處理環境輸入的算法直接做出的。b描述了研究的LA-Light框架，該框架采用一個LLM來執行交通信號控制的任務。在LA-Light中，首先LLM從增強的集合中選擇最相關的工具，包括感知工具和決策算法，以收集和分析交通數據。然后它評估信息，根據需要調整其工具選擇，直到制定明確的交通控制決策。
直觀一點界面如上。這篇論文的好處在于可以舉一反三，從其中可以學習抽象出讀者所處各個領域的場景應用框架。
首先先定義任務(Task)，然后定義環境(Enviroment)，這里很關鍵。在實際的業務場景中存在很多的時點數據。怎么理解時點數據，可以想象一下，每隔1s將時間暫停，那么就有了一個快照數據。如何定義這個場景快照需要架構師的智慧，尤其是對于業務的理解。上圖每1s的交通圖就是一個快照數據。
緊著這定義動態指標數據<例如實時的交通數據，其他車輛數據，時點的擁堵指標體系>，這里涉及到了實時數據倉庫。還有就是整合一些橫向的時點信息，包括潮汐車道，道路維度，引流等規則、策略和最新事件。當然也可以給它提供這個領域的封裝好的工具庫，讓其自行選擇調用輔助評估。
將上面的這些信息和數據按照一定的提示模板進行拼接，然后形成Prompt丟給大模型，獲取結果。
很多讀者會發問，這是否可行。其實是可行的，但是精確度一開始肯定是不高的。不過這個過程最重要的是將時點數據進行及時的采集、存儲和標注，無論是實時采集，還是上下文的橫向數據，它們就是寶貴的數據資產。FSD最強大的還是在于它的道路數據和標注數據，因為這些數據可以用來訓練，也可以用來仿真。未來數據達到一定的規模，讀者可以考慮自行微調大模型，或者直接構建仿真系統，畢竟八卡或者十六卡的頂流GPU還是能供得起的~
