在上物理課的時候，大家應該都有過那種「圖太抽象了」的體會吧，需要靠空間想象力才能感受到出題人的想法。

而在電子教學時代，物理圖可以是動態、可交互的，有助于更深入地理解復雜原理，能夠比教科書或視頻提供更豐富、更難忘的學習體驗，也可以讓學生更積極參與到復雜概念的實驗中，

但是創建交互式模擬既耗時又需要大量的編程工作，所以大部分教學場景只能用已經制作好的模擬圖，有時無法完全滿足學生對學習材料的特定需求，甚至切換教科書和外部交互視頻的過程還會分散學生注意力。

最近，卡爾加里大學、科羅拉多大學博爾德分校及Adobe的研究人員提出了一個全新的方法增強物理（Augmented Physics），通過從靜態教科書圖表中提取和增強內容來創建交互式物理模擬；利用「Segment-Anything」和多模態LLM等先進的計算機視覺技術，可以半自動地從教科書頁面中提取圖表，并基于提取的內容生成交互式模擬。

論文鏈接：https://arxiv.org/pdf/2405.18614

簡單來說，這種增強實驗的功能就像是給教科書里的靜態圖像增添了生命力，學生們不再只是被動地閱讀和觀看圖像，而是能夠親手操作這些圖像中的元素，進行實驗。

比如，學生可以把一個物體在虛擬的模擬環境中移動到透鏡旁邊，親眼看到圖像是如何變化的。在電路的學習中，也可以調整電路中的電壓和電阻，實時看到電流的變化，這樣的互動方式使得學習過程更加直觀和有趣。

該系統可以支持各種類型的模擬，如牛頓運動、光學、電路和循環動畫，并通過簡單的創作過程，用戶可以選擇圖表中的特定對象進行分割，操縱分割對象，并調整參數值以動態與模擬結果互動。

體驗感最好的是，交互式視覺輸出直接通過基于網絡的界面無縫疊加到教科書PDF上，學生可以很方便地學習、實驗，而無需尋找外部材料。

通過與七位物理教師的引導研究，文中探索了四種關鍵的增強策略：增強實驗、動畫圖表、雙向綁定、參數可視化，然后通過對系統進行技術評估、可用性研究（N=12）和專家訪談（N=12）來評估系統，結果表明，該系統可以促進物理教育中更具吸引力和個性化的學習體驗。

增強物理：系統設計

步驟1：導入教科書圖表

用戶通過網頁界面導入圖表，系統支持包括桌面和移動設備，用戶也可以上傳教科書頁面的PDF文件，或者使用智能手機拍攝并上傳教科書頁面的照片。

步驟2：選擇模擬類型

導入圖表后，系統會要求用戶從可用選項中選擇模擬類型：運動學、光學和電路；系統還額外提供動畫選項，以適用于不需要特定模擬類型的場景。

步驟3：分割圖像

用戶通過在圖表上選擇特定區域（用方框或點選）來啟動分割。

例如，用戶可能選擇一棵樹和一個透鏡，從光學相關的圖表中分割出這些對象。在另一個例子中，用戶可以分割與牛頓運動相關的圖表中的各種對象，如物體和斜坡；用戶還可以分割一條線來提取路徑，創建跟隨線條的動畫。

步驟4：為分割對象分配角色

分割完成后，用戶為每個分割的對象分配一個標簽，在模擬中提供特定角色；系統為每種模擬類型提供了一組可用的角色，供用戶選擇。

例如，在光學模擬中，用戶可能將一棵樹標記為要投影的物體，將透鏡簡單地標記為透鏡，將一個點標記為焦點。

在與重力相關的情境中，分割的項目可以被分類為受重力影響的動態物體，或保持靜止的靜態物體，還可以使用彈簧或繩子等標簽用于運動學圖表；對于電路模擬，系統使用圖像識別自動對對象（如電阻和電池）進行分類。

步驟5：生成和運行模擬

用戶分割圖像并分配角色后，系統會將分割的圖像轉換成具有適當物理屬性的多邊形，生成模擬。

系統可以精確復制滑雪者和斜坡，分別創建動態和靜態物體的多邊形，能夠確保模擬與原始圖表無縫集成，實現形狀和位置的對齊；用戶可以通過點擊運行按鈕或與渲染的多邊形互動來啟動模擬，觀察動態的視覺輸出，點擊模擬對象，并選擇更改參數。

步驟6：通過參數操作與模擬互動

用戶可以靈活地調整模擬內的參數。根據不同的角色，不同的對象帶有各種參數，如動態物體的質量、靜態物體的摩擦力和彈簧的力常數。

系統可以在文本或圖像中識別參數值，使用戶能夠操縱頁面上的數值。例如，在電路模擬中，用戶可以修改電阻和電池的值，動態更改模擬結果；系統自動將文本中的數值與模擬中對象的特定屬性鏈接起來，用戶可以編輯這些屬性。

增強特性

動態圖示（Animated Diagrams）

提供了一種創建循環動畫的方法，用戶可以為分割對象指定路徑，然后創建模擬運動的動畫。

通過分割對象并為動畫定義路徑，可以讓光線根據角度的不同而沿著各種反射路徑傳播，該特性也使得用戶能夠直接從教科書內容中創建出有吸引力的動畫，比如地球繞太陽旋轉；并且與受限于可用模擬的增強實驗不同，動態圖示可以應用于任何圖示。

雙向綁定（Bi-directional Binding）

作者可以將文本中的參數值與相關的模擬實驗相鏈接，學生能夠直接在文本中調整這些值，并實時觀察變化。

剛開始的時候系統會識別并高亮顯示提供的圖像中的所有數字供作者選擇，然后作者可以從文本中選擇一個特定的數值，并通過一個下拉菜單為其分配一個模擬屬性，菜單中顯示所有可用的屬性。

上圖中，用戶將文本中的值綁定到壓縮屬性上，系統能夠使用這個值來模擬場景，然后通過改變彈簧的壓縮程度，為學習者提供了一種直觀的方式來理解參數變化對實驗結果的影響。

參數可視化（Parameter Visualization）

系統通過一個基本的時間序列圖表來實現，可以讓作者通過動態圖表來展示選定的值，比如用戶觀察到一個圖表，描繪擺錘在接近其平衡位置時，其角度在簡諧運動中的變動。

該功能類似于一個動態的進度條，以圖形的方式展示了某個變量（比如擺錘的角度）隨時間的變化情況，幫助用戶更直觀地理解動態過程中的數值變化。

實驗結果

根據技術評估結果，不同模擬組件的成功率為：運動學為64%，光學為44%，電路為40%（62%經過輕微編輯后成功），動畫為66%；其中對象分割的成功率高達86%

其中對象分割的成功率高達86%，也顯著促進了運動學、光學和動畫組件的相對更高成功率，在運動學中，多邊形生成和放置的成功率分別為72%和70%，通過適當的分割有效地轉換成了可進行物理模擬的實體。

然而，由于某些特性的支持限制（6%），如旋轉運動、特定物體的重力、不支持的物體如繩索，以及模擬曲面平滑性的問題，運動學模擬仍然有困難。

此外，有74%的圖表僅需要進行輕微調整，如修改模擬參數才能獲得準確的模擬結果，沒有任何創作和修改過程的成功率為40%；盡管使用了相同的「Segment Anything」技術，線分割的成功率卻較低。

電路模擬流程采用線檢測方法來定位和識別導線，并結合Gemini模型來檢測符號，其中線檢測的成功率較低為45%，導致整體模擬成功率在進行輕微連接編輯后為62%；沒有任何編輯的情況下，流程的成功率為40%，主要是因為圖表中的導線重疊或交叉，而符號識別的準確度相當高為72%