ChatGPT化身政治說客:幫企業(yè)判斷是否受政府新法案影響,甚至寫信建議修改立法
?如果說紐約“華爾街”是國(guó)際金融中心的話,那么華盛頓的“K街”可謂是風(fēng)云變幻的國(guó)際政治中心。
華盛頓的“K街”離白宮不遠(yuǎn),這里有著一群專業(yè)的“政治說客”,每當(dāng)美國(guó)政府有了新的法案草案,他們就會(huì)花費(fèi)大量時(shí)間仔細(xì)研究法案草案,以評(píng)估它們是否與他們的客戶相關(guān),這些客戶通常是各大企業(yè)。
美國(guó)政府各種法案的威力不用多說了,比如近期通過的《芯片與科學(xué)法案》,直接受到波及的半導(dǎo)體企業(yè)就為數(shù)不少,及時(shí)了解各類法案會(huì)不會(huì)影響到自己,成為企業(yè)政策研究的重中之重。
現(xiàn)在,這項(xiàng)工作也可能要被ChatGPT取代了。
斯坦福法律信息中心的研究員約翰 · 內(nèi)(John Nay)最新的研究顯示,AI模型能夠在75%的情況下預(yù)測(cè)一份美國(guó)國(guó)會(huì)法案的摘要是否與特定公司有關(guān),更重要的是,隨后能夠起草一封信給該法案的發(fā)起人,主張對(duì)立法進(jìn)行修改,這個(gè)模型和ChatGPT一樣,背后同樣也是 OpenAI 的GPT-3 大語言模型(LLM)。
論文 arXiv 預(yù)印本:https://arxiv.org/ftp/arxiv/papers/2301/2301.01181.pdf
讀政府法案,判斷法案影響,準(zhǔn)確率75%
約翰 · 內(nèi)(John Nay)的論文顯示,他基于OpenAI 的 GPT-3大語言模型(LLM) 開發(fā)的初級(jí) AI 說客,可以在讀取一份美國(guó)國(guó)會(huì)法案的摘要的基礎(chǔ)上,判斷一份美國(guó)國(guó)會(huì)法案的摘要是否與特定公司有關(guān)。
比如上面提到的芯片法案,如果你有一家涉及半導(dǎo)體產(chǎn)業(yè)的公司,但并非主要業(yè)務(wù),你不確定芯片法案是否會(huì)影響到你的公司,那么這個(gè)AI就可以告訴你答案,準(zhǔn)確率高達(dá)75%。
這是如何做到的呢?
首先,當(dāng)然是AI如何理解文本的問題,這個(gè)需要大量的數(shù)據(jù)用來訓(xùn)練,約翰 · 內(nèi)(John Nay)的方法是收集大量法案數(shù)據(jù)和企業(yè)數(shù)據(jù),通過 OpenAI 的 API 為模型提供文本提示。
法案數(shù)據(jù)包括法案的標(biāo)題、法案摘要、由國(guó)會(huì)確定的法案主題,公司數(shù)據(jù)由公司的名稱以及該公司向美國(guó)證券交易委員會(huì)提交的業(yè)務(wù)描述作為數(shù)據(jù)組成。
給AI模型的任務(wù)示例如下:
你是一名游說者,分析國(guó)會(huì)法案對(duì)公司的潛在影響。
鑒于該法案的標(biāo)題和摘要,以及其 10K SEC 文件中有關(guān)公司的信息,你的工作是確定該法案是否至少與公司有一定的相關(guān)性(就是否會(huì)影響公司而言,如果它之后被實(shí)施)。
法案的官方標(biāo)題:{official_title}
法案的官方摘要:{summary_text}
法案的官方主題:{subjects}
公司名稱:{company_name}
公司業(yè)務(wù)描述:{business_description}
該法案是否與該公司潛在相關(guān)?
以這種格式回答:回答:“是”或“否”(全部大寫)。
說明:您為做出回應(yīng)而進(jìn)行的逐步推理。置信度:0 到 100 之間的整數(shù),用于估計(jì)您對(duì)答案的置信度(1 為低置信度,99 為高置信度)
完成訓(xùn)練之后,約翰 · 內(nèi)(John Nay)整理了335張法案的數(shù)據(jù),然后對(duì)模型進(jìn)行挑戰(zhàn),以預(yù)測(cè)它們是否與121家獨(dú)特的公司有關(guān)。
因?yàn)榇蠖鄶?shù)立法不會(huì)影響到大多數(shù)公司,他發(fā)現(xiàn),只要總是說“不”,模型就可以猜對(duì) 70.9% 的情況。當(dāng)他在2022年3月發(fā)布的舊版本 GPT-3上測(cè)試這種方法時(shí),結(jié)果比那糟糕得多,預(yù)測(cè)準(zhǔn)確率只有52.2% 。
但是,當(dāng)在2022年11月才公布于眾的 GPT-3.5模型(也就是ChatGPT的大腦)上進(jìn)行試驗(yàn)時(shí),它的準(zhǔn)確率達(dá)到了75.1% 。在置信度評(píng)分超過90的法案上,準(zhǔn)確率上升到79%。
如果法案與企業(yè)有關(guān),還能自動(dòng)生成法案修改建議
對(duì)于判定相關(guān)的情況,AI還會(huì)給出相關(guān)的理由,比如:
答:是
解釋:Alkermes Plc 是一家生物制藥公司,開發(fā)和商業(yè)化旨在解決主要治療領(lǐng)域(包括成癮和精神分裂癥)患者未滿足的醫(yī)療需求的產(chǎn)品。該法案要求醫(yī)療保險(xiǎn)和醫(yī)療補(bǔ)助服務(wù)中心 (CMS) 與制藥公司就醫(yī)療保險(xiǎn)處方藥福利所涵蓋的藥物價(jià)格進(jìn)行談判,這可能會(huì)影響 Alkermes Plc 的產(chǎn)品。
置信度:95
更重要的是,如果判斷法案與企業(yè)有關(guān),AI隨后能夠起草一封信給該法案的發(fā)起人,主張對(duì)立法進(jìn)行修改。
比如這樣的一封信:
論文沒有評(píng)估起草的信件在影響政策方面有多大效果,約翰 · 內(nèi)(John Nay)明確表示,這種方法還遠(yuǎn)遠(yuǎn)不能完成游說者的大部分工作。
但他表示,相隔數(shù)月發(fā)布的模型在預(yù)測(cè)性能方面的顯著提升是值得注意的。他表示: “目前有一個(gè)明顯的趨勢(shì),就是能力將迅速增強(qiáng)。”
“立法程序還沒有為此做好準(zhǔn)備,”同時(shí)他還表示。“這只是幾天內(nèi)構(gòu)建的一個(gè)簡(jiǎn)單的概念證明。隨著更多的資源和更多的時(shí)間花在這上面,特別是隨著更多的關(guān)注于建立工作流程和用戶體驗(yàn)與人類說客的日常工作聯(lián)系在一起,這可能會(huì)建成一些相對(duì)復(fù)雜的東西。”?