基于多模態信息融合的上肢康復訓練評估系統
項目摘要
腦卒中是我國成年人致死、致殘的首位病因，具有發病率高、致殘率高、死亡率高和復發率高的特點。2016 年全球疾病負擔（GBD）數據顯示，腦卒中是造成我國壽命年損失（YLL）的第一位病因。《2019 中國衛生健康統計提要 》數據顯示，2018 年腦血管病占我國居民疾病死亡比例在農村人群為 23.19%、城市人群為 20.51%，這意味著每 5 位死亡者中就至少有 1 人死于腦卒中。
基于多模態信息融合的上肢康復訓練評估系統是一套用于腦卒中患者的主被動式上肢康復訓練評估系統。在康復訓練硬件方面參考鶴的頸部運動方式，按照人體工程學，設計出仿鶴頸式上肢康復機械臂，整體能夠實現肩、肘、手腕部分的多關節多自由度訓練。康復評估系統由訓練中、訓練后兩部分組成，在康復訓練過程中，基于MPU9250芯片，自主開發動作捕捉設備，通過其中的陀螺儀和慣性傳感器對加速度和角速度進行采集，經過三維融合算法得到關節角度和四元數，關節角度作為評估系統量化指標。并且采用DTW算法將數據進行規整、可視化處理，通過Pearson系數判斷患者的恢復狀況。訓練后，使用機器學習中的RF隨機森林算法將康復數據經過RF模型與標準數據進行對比，并根據國際認定的Brunnstrom分期量表進行量化評估患病等級，為患者提供針對性個性化的治療康復方案。同時基于通過Untiy3D設計小游戲，使用虛擬與現實結合技術，可打破康復訓練時間和空間的限制，也能增強患者在康復訓練的積極性與主動性，提高康復訓練效果。
一、項目背景
據統計數據,目前國內中風病人有1500萬多，且發病率在以每年8.7%的速度上升。若不加控制，到2030年，全國將有3100萬中風病人;每年因中風死亡人數高達200萬，占總死亡人口的22%。而在肢體殘疾原因中腦卒中超過20%。患者肢體神經受到損傷常年臥床，生活難以自理，雖然往返的康復訓練能夠重塑大腦與受損肢體間的聯系，但是醫療康復機器人市場不成熟，患者只能通過醫師一對一治療。
而近年來，國家政策支持全國腦卒中防治工作開展。2021年，國家衛生健康委、教育部、國家藥監局等10部門聯合制定了《加強腦卒中防治工作減少百萬新發殘疾工程綜合方案》。同時各地政府也高度重視腦卒中防治工作，河南省衛生健康委把腦卒中高危人群篩查和干預工作列入健康中原2030重點行動計劃:1.撥付經費用于支持縣區開展卒中防治相關工作；2.把卒中中心建設列入二級醫院升三級醫院提質升級的必備材料清單；3.開創性地發起并推廣卒中急診救治一鍵啟動，顯著縮短了DNT時間；4.有力推動了河南省二級醫院卒中中心建設工作。
所以我們設計了一套用于腦卒中患者的主被動式上肢康復訓練評估系統，在輔助腦卒中患者執行康復訓練運動的同時會對訓練結果進行定量評估。創新康復方法，分期評定，解決腦卒中患者訓練過程中醫師少、效果差的問題，為康復醫師提供標準化的解決方案。
二、團隊介紹
成員介紹：
團隊成員由三部分構成，第一部分是老師和康復醫師，指導老師會對項目方向進行把控，合作醫師會進行專業的康復訓練指導。第二部分是合作公司的工程師，合作公司的工程師會推進項目的產品化進程。第三部分是我們大學生研發團隊，我們大學生專業覆蓋面廣，做的是產品的設計和研發。
團隊理念：
團隊以“開放、共享、聯合”的原則，秉承“創新，合作，高效，服務，共贏” 的團隊理念進行團隊的發展，采取固定人員、專職人員和流動人員相結合的研發團隊組成模式，團隊成員之間能夠進行緊密有效的合作關系，充分整合學院、企業和研究所相關學科研究力量，立足于高校，服務于社會。
團隊研發范圍：
團隊主要以面向上肢偏癱老人的康復機械臂為基本目標，在腦卒中患者全肢體康復外骨骼、基于動作捕捉技術的康復評估系統、以及基于卷積神經網絡的運動意圖感知系統等方面取得重大成果。
團隊宗旨：
本創業團隊將以本校創業者為人才依托，在院系以及老師的支持下，投入資金及一流的開發團隊，開拓創新，研發產品，以適應市場上各類消費者的要求。現階段，主要以面向上肢偏癱老人的康復機械臂為基本目標我們將以高質量的產品和優質的服務來贏得各類客戶的青睞，以實現團隊的目標，并最終成為本行業的領跑者。
三、應用場景
本產品是一款用于上肢康復的智能康復訓練體系，可用于中風、肌肉、 骨骼損傷患者的手臂和手指進行康復訓練。根據國際認定的Brunnstrom分期量表，針對不同時期患者，本產品采用不同康復方式，針對軟癱期患者，制定規范的康復路徑，采用被動康復，恢復患者肌力；針對痙攣期患者，采集患者康復過程中的肌電信號，通過獲取患者意圖，實現主動康復；針對恢復期患者，進行多關節精細運動以及ADL訓練，采用抗阻加處方訓練的方式，實現康復。
應用場景大致可以分為以下兩類：
- 適用于患者在醫院或康復理療中心等機構進行康復訓練及評估。
- 我們團隊通過在這些機構中投放該產品，并為其提供技術支持，患者可以在醫院內使用設備進行康復。本套產品中康復訓練評估系統既能搭配配套的外骨骼，還可能跟眾多康復輔具設備進行結合，使得產品應用更廣，可以同時康復多處部位。
- 針對情況比較嚴重的患者，如處在軟癱期、痙攣期的患者，在醫院或康復理療中心等機構進行康復訓練，康復評估的結果可以在醫院實時的給康復醫師進行查看，以便制定下一步的針對性康復策略。
- 適用于患者在家中進行康復訓練及評估。
- 部分腦卒中患者行動不便，前往醫院可能費時費力，增加患者經濟與心理負擔，導致難以前往醫院進行康復，以致于錯過康復訓練的黃金時間。
- 在疫情期間，人們只能居家隔離，一些老年偏癱患者，特別是農村的患者，難以得到有效的康復治療。
- 處于恢復期的患者，可以在家中安裝設備，在家屬的陪同下進行康復訓練，提高康復訓練便利性。
本項目通過康復檢測評估系統將康復治療變得隨時隨地，康復醫師可遠程監控患者的康復情況。對病人進行康復訓練的同時，利用外骨骼機器人的傳感器對病人的生物力學等相關數據進行采集與分析，可以對病人的病情進行更加精確的分析，加深對于腦卒中患者的病理性分析與相應診療方案。
四、產品功能
本產品通過基于MPU9250慣性傳感器開發的動作捕捉設備，采集患者動作數據作為數據來源，并基于此開發了兩套康復評估系統。
訓練中的的康復評估系統能夠在患者進行康復訓練的時候獲取動作數據，通過關節角度數據信息與標準庫中的正常人動作數據對比，首先通過DTW算法規整，時間序列，然后通過皮爾遜系數判斷兩個系列之間的相關性，從而進行簡單的訓練中康復。
評估訓練后康復評估系統，根據腦卒中分期量表，讓患者按照規定的范式動作進行運動，通過隨機森林算法對患者目前的康復程度進行分期評估。通過采集患者肌電信號，構建深度學習神經網絡，實現準確識別患者上肢運動意圖，準確率達到90%以上，從而實現主動康復，為患者制定個性化的康復訓練計劃。并使用unity3D開發了康復小游戲，實現患者與游戲之間的體感交互，增加康復訓練的趣味性。使用小熊派開發板，將數據存儲至部署django框架的華為云服務器的數據庫中建立患者個人信息數據庫。此外，我們通過設計鴻蒙app實現人機交互，擁有專業評估系統，專屬評估報告等功能。
鴻蒙app部分代碼如下：
<div class="container">
<div class="line">
<div class="line_1">
<div class="line1">
<image src="../../common/images/bobath.png" class="tp"></image>
</div>
<text class="title1">bobath握手</text>
<text class="title2">10分鐘</text>
</div>
<div class="line_1">
<div class="line2">
<image src="../../common/images/shang.png" class="tp"></image>
</div>
<text class="title1">上舉</text>
<text class="title2">15分鐘</text>
</div>
</div>
<div class="line">
<div class="line_1">
<div class="line1">
<image src="../../common/images/tuila.png" class="tp"></image>
</div>
<text class="title1">推拉活動</text>
<text class="title2">10分鐘</text>
</div>
<div class="line_1">
<div class="line2">
<image src="../../common/images/xuan.png" class="tp"></image>
</div>
<text class="title1">旋前旋后</text>
<text class="title2">20分鐘</text>
</div>
</div>
<div class="line">
<div class="line_1">
<div class="line1">
<image src="../../common/images/wanguan.png" class="tp"></image>
</div>
<text class="title1">腕關節屈伸</text>
<text class="title2">15分鐘</text>
</div>
<div class="line_1">
<div class="line2">
<image src="../../common/images/guan.png" class="tp"></image>
</div>
<text class="title1">關節尺偏</text>
<text class="title2">10分鐘</text>
</div>
</div>
</div>
鴻蒙app頁面展示：
五、項目創新點
1、全上肢康復硬件系統
（1）仿生式的上肢康復機械臂
本產品按照人體工程學，同時基于對鶴頸部的研究利用四連桿機構代替鶴頸部的骨架，利用繩傳動替代鶴頸部的肌肉，模仿出鶴頸部的運動方式。在驅動源與從動軸之間采用繩傳動結構，對患者進行穩定柔順的康復訓練運動，其延展性增大運動過程的緩沖，避免對患者造成康復時的二次損傷。
（2）基于MPU9250自主設計的動作捕捉設備
基于MPU9250采集加速度、角速度進行多數據融合算法，實現IMU姿態融合。對加速度計和陀螺儀的數據，采用四元數法進行數據處理，其能夠很好的實現坐標空間轉換，避免歐拉角萬向節死鎖問題，減小了方向余弦的計算量過大問題，并對數據進行空間變化處理，極大提高數據分析的精準度。
（3）基于ROS開發的機械臂控制系統
上位機和下位機閉環控制系統。整體分為三部分內容，Movelt，Driver，單片機。在Movelt中采用action通信機制，分為客戶端和服務端，Movelt為我們提供了客戶端，我們需要自己寫服務端，客戶端向服務端發送目標，等服務端接受到請求之后，向客戶端返回當前的狀態。客戶端可以知道進度，并且可以隨時暫停進度。在服務端還可以周期反饋任務運行的監控數據。當任務結束后向客戶端發送結果。這是上位機之間的數據傳輸。上位機和下位機之間，采用通信協議，將數據發給單片機。單片機驅動電機運動。再通過通信協議將數據發送到上位機，上位機通過這些數據，計算出目前的狀態。實現閉環控制系統。
（4）基于Brunnstrom的量化評估標準
我們采用國際認證的Brunnstrom評定量表，將表中的肢體評定標準量化為關節活動限度，并將患者的運動數據作為隨機森林模型的輸入，經過多維度的特征值歸一化處理之后能夠輸出為Brunnstrom量表的康復時期，通過對Brunnstrom評定標準表的全定量化，使其能夠適用于機器的參數化評估，使得整個評估過程數據化、結果更加的客觀，彌補康復醫師主觀性評估過程存在的不足。
2、多元化康復軟件系統
（1）基于DTW算法的數據驅動式康復訓練
采用DTW和Pearson系數相融合的創新方法對患者的動作進行評估，利用DTW算法、皮爾遜系數，將患者康復訓練過程中的關節實時變化角度曲線與標準數據庫正常人關節角度曲線進行比對，患者可通過關節角度的實時曲線圖了解自己動作完成情況，治療師也可通過實時曲線圖及時動作指導，以及簡單評估患者康復訓練恢復程度。圖為訓練中的患者與正常人關節角度曲線對比圖。
（2）基于Unity3D虛擬現實的趣味性康復訓練
產品基于Unity3D設計的康復訓練游戲，結合虛擬現實技術，隨意更改患者訓練場所，實現患者與虛擬游戲環境的自然交互，提供多種形式的反饋信息,解決了傳統的康復訓練過程枯燥的問題，增加患者訓練過程中的趣味性。
（3）基于卷積神經網絡的意圖感知康復
仿生式上肢康復機械臂系統采用肌電信號檢測人體運動意圖。建立人體運動肌電信號與運動模式之間的映射關系，構建深度學習神經網絡訓練模型，通過modelars進行模型部署，和在華為云服務器上進行云端算法模型部署，精確率達到93%，能夠準確識別患者上肢運動意圖，使患者得到充分有效的康復訓練。
（4）基于機器學習的康復分級評估系統
將采集到的數據進行微慣性傳感器、肌電信號網絡采集患者多信息數據，通過云傳輸方式傳遞到康復醫師的設備上，分析得到的患者康復訓練情況以及使用RF機器學習算法評判患者分期結果。
