ChatGPT的發布，讓AI正式加入工具箱，不過寫prompt對于非英語母語者、非AI從業者來說仍然是一個難題。

在最近召開的人機交互領域頂級會議ACM CHI （Conference on Human Factors in Computing Systems）2023上，發表了大量基于大型語言模型的研究及工具，能夠拉低ChatGPT類工具的使用門檻。

從事人機交互工作的前田納西大學教授Austin Z. Henley精選了八篇論文，從提示的設計、訓練，到改善編程教學、結構化日志管理等，打開ChatGPT的正確玩法！

程序員和語言模型之間的概念匹配

「代碼生成」大型語言模型可以把用戶輸入的自然語言翻譯為代碼，不過在近乎無限的自然語言輸入空間中，只有一小部分指令可以準確指導代碼生成。

對于非AI專業的終端用戶，即普通程序員來說，學習提示輸入的難題主要是抽象概念之間的匹配。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3580817

這篇論文在電子表格中的數據分析的特定背景下研究了這一難題，使用Codex代碼生成器將用戶的自然語言query映射為Python代碼、執行代碼并顯示結果。

研究人員提出了grounded抽象匹配，通過將代碼翻譯成系統的和可預測的自然語言，來彌補抽象的差距。

在一項受試者之間的思考-朗讀研究（n=24）中，研究人員將grounded抽象匹配與基于先前建立的查詢框架原則的ungrounded的替代方案進行了比較。

結果發現，有基礎的方法提高了終端用戶對代碼生成模型的范圍和能力的理解，以及有效使用所需要的語言種類。

總結：為了幫助終端用戶編寫 LLM 提示，研究人員設計了一個系統，將用戶的自然語言輸入映射到一系列系統操作，可以準確地向用戶傳達系統如何解釋他們的提示，并給出一個可編輯的細粒度操作列表。

非 AI 專家如何嘗試(失敗)設計 LLM 提示

像GPT-3這樣預訓練的大型語言模型可以進行開箱即用的多輪指導，可以作為設計自然語言交互工具的基礎。

使用自然語言來引導語言模型的輸出（即提示prompt）已經成為一種重要的設計技術，非人工智能專家也需要學習使用。

不過制作有效的提示是具有挑戰性的，而且基于提示的交互是很脆弱的。

這篇論文探討了非人工智能專家是否可以使用design probe成功地參與「終端用戶提示工程」，一個基于LLM的聊天機器人設計工具原型，支持開發和系統評估提示策略。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3581388

最終，研究中的probe參與者對提示設計進行了機會性的探索而非系統性的探索，但仍然很難讓參與者掌握終端用戶編程系統和交互式機器學習系統。

研究人員發現，源自人與人之間的教學經驗的期望，以及過度泛化的傾向，是有效提示設計的障礙，實驗結果對于非人工智能專家面對的基于LLM的工具設計以及提高程序員和公眾的LLM和提示素養都有影響，并為進一步研究提供了機會。

總結：提示工程現在相當流行，但是非人工智能專家能寫出有效的提示嗎？研究人員調查了人們在寫提示時面臨的挑戰，并設計了一個工具來幫助這些非專業人士。

VizProg: 通過可視化學生的編碼過程識別誤解

程序設計課的老師經常在課堂上進行練習，以幫助他們發現進度落后的學生，找出學生錯誤理解的概念。

不過研究人員在采訪編程導師時發現，在練習中監控學生的進度是很困難的，特別是對于大班學生。

這篇論文提出了VizProg，允許教師在課堂練習中實時監控和檢查學生編程進度的系統。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3581516

VizProg將學生的狀態表現為二維歐幾里得空間圖，實時編碼學生的解決問題的方法和進度。

VizProg使老師能夠瀏覽學生代碼的時間和結構演變，了解代碼之間的關系，并確定何時提供反饋。

對比實驗表明，與基線系統相比，VizProg有助于發現更多學生的問題；VizProg還為識別重要的學生行為提供了更豐富、更全面的信息。

通過大規模地管理學生的活動，這項工作為提高現場學習的質量提出了一個新的范式。

總結：對于教師來說，理解學生在課堂活動中的表現是一個挑戰。研究人員設計了一個工具，實時可視化學生的不同手段，展示全班的編輯距離視圖，同時也允許教師檢查特定的提交。

基于人工智能的筆記本代碼助手設計

人工智能驅動的代碼助手，如Copilot，正在迅速成為當代編碼環境中無處不在的組成部分。

在這些環境中，計算筆記本如Jupyter提供了豐富的界面，能夠進行探索性和展示性工作的方式將代碼和輸出同時展示。

盡管筆記本很受歡迎，但人們對筆記本中代碼助手的適當設計知之甚少。

研究人員通過創建一個設計空間（從對現有工具的調查中得出），并通過采訪設計研究（與15位實踐中的數據科學家），來研究計算型筆記本中代碼助手的潛力。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3580940

通過這項工作，研究人員為這個空間中的未來系統確定了挑戰和機會，如數據可視化等任務的消歧義價值，嚴格范圍的特定領域工具（如linters）的潛力，以及禮貌助手的重要性。

總結: 這是對計算機筆記本中 AI 代碼助手的設計空間的探索，為人工智能的用戶體驗提供了一個有用的框架，包括用戶如何迭代他們的輸入，如何改進輸出，等等。

Colaroid: 一個創作可探索的多階段教程的文學編程方法

多階段編程教程是程序員的關鍵學習資源，使用漸進的增量步驟來教用戶如何構建更大的軟件系統。

一個好的多階段教程能清楚地描述代碼，解釋每一步的理由和代碼的變化，并允許讀者在學習教程的過程中進行實驗。

在實踐中，作者創建具有這些屬性的教程是非常耗時的。

這篇論文介紹了Colaroid，一個用于創建高質量的多階段教程的交互式創作工具。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3581525

Colaroid教程是一個增強的計算筆記本，其中的片段和輸出代表了一個項目的快照，突出了源代碼的差異，每個片段都有完整的源代碼背景，并且能夠在一個鏈接的IDE中加載和修補項目的任何階段。

在兩項實驗室研究中，研究人員發現Colaroid使創建多階段教程變得容易，同時與視頻和基于網絡的教程相比，為讀者提供了更多優勢。

總結: 即使是一個簡短的編程教程也需要花費很多時間才能做好。研究人員設計了一個用于創建基于交互式筆記本的教程的工具，可以讓作者從代碼庫的歷史中獲取代碼塊，然后重新混合以獲得更好的解釋。

AI代碼生成器對初學者的支持

像OpenAI Codex這樣的人工智能代碼生成器有可能通過從自然語言描述中生成代碼來幫助新手程序員，然而，過度依賴可能會對學習和保持產生負面影響。

為了探索人工智能代碼生成器對編程入門的影響，這篇論文對69名新手（10-17歲）進行了對照實驗。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3580919

學習者進行了45個Python代碼編寫任務，其中一半的學習者可以使用Codex，每個任務之后都有一個代碼修改的任務。

實驗結果顯示，使用Codex可以顯著提高代碼編寫的成績（完成率提高了1.15倍，分數提高了1.8倍），同時不會降低手動修改代碼任務的成績。

此外，在訓練階段使用Codex的學習者在一周后進行的評估后測試中表現略好，盡管這一差異沒有達到統計學意義。

值得注意的是，如果事先接觸過Codex，Scratch前測分數較高的學習者在保留后測中的表現明顯要好。

總結: 世界想知道人工智能將如何改變教育。過度依賴會妨礙學習嗎？研究人員進行了一項為期3周的研究，發現使用人工智能工具完成任務的學生在手工編碼任務或測試中的表現并不差，也許人工智能終究是新的計算器。

Log-it: 支持使用交互式、上下文、結構化和可視化日志進行編程

日志（logging）是一種廣泛使用的檢查和理解程序的技術。

不過日志的表現形式仍然經常采用其古老的形式，即駐留在終端、控制臺或日志文件中的線性文本流，盡管很簡單，但由于大量缺乏結構和上下文的文本日志，解釋日志輸出往往具有挑戰性。

這篇論文進行了內容分析和專家訪談，以了解日志中固有的做法和挑戰。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3581403

活動結果表明，目前對日志的表述并沒有提供程序員解釋日志或程序行為所需的豐富結構。

研究人員提出了Log-it，一個使程序員能夠在現場交互式地結構化和可視化日志的日志界面。

一項針對新手和專家的用戶研究表明，Log-it的語法和界面具有最小的學習曲線，日志的交互式表示和組織可以幫助程序員輕松定位、綜合和理解日志。

總結: Print 語句仍然是一種流行的調試方法，但它并不總是最有效的技術。研究人員設計了一個時髦的工具來構造和可視化輸出。

從語法中獲得可用的結構化編輯器

結構化編輯在編程的可學習性、工具建設和編輯效率方面都有好處。

不過創建一個可用的結構化編輯器是很費力的，通常需要工具建設者手動創建或調整編輯交互關系。

這篇論文提出了Sandblocks，允許用戶為每一種有形式化語法的語言自動生成結構化編輯器的系統。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3544548.3580785

該系統的輸入調和過程可以作用于任意的語法樹，為生成的編輯器提供一致的交互方式。

該編輯器的編輯體驗被設計成用戶熟悉的文本編輯，但與以前的工作相比，不需要在語法中進行手動標注。

文中通過一項用戶研究（N=18）來證明該編輯器在不同語言中的可用性。

與傳統的文本編輯器相比，參與者平均只花了21%（JS）、34%（Clojure）和95%（RegExp）的時間，并報告說編輯感覺很自然，得分是6/7。

總結: 結構化編輯是那些似乎每個人都喜歡的想法之一，研究人員致力于開發一個結構化的編輯器，可用于所有的編程語言，同時仍然具有很高的可用性；提供了一個一致的用戶界面，可以在給定形式語法的幾乎任何語言上使用。