智啟萬象 | AI 社會公益,共創包容未來?
谷歌致力于讓每個人能平等地
享受科技帶來的便利
一起深入 2024 Google 開發者大會
了解谷歌如何通過 AI 技術支持公益事業
打造讓人人受益的社會公益方案
共創包容未來
普惠設計是無障礙設計的核心思想,旨在消除障礙,讓每個人都能平等地使用產品和服務。在中國,多元社群使用谷歌技術研發社會公益項目,包括用谷歌 AI 技術構建的慧眼識教、智引線、手語村、聽語精靈、Galaxy Explorer 等項目,為有障人群打造更加平等的生活和學習環境。
對視障兒童來說,看清世界十分困難,但這并不能阻止他們探索世界。Google 公益的志愿者洞察到這點后,協助愛百福公益基金會落地慧眼識教項目,利用 Google Cloud、MediaPipe 圖像分割、Google Cloud Vertex Al 中的 Gemini 1.5 Flash 生成視頻腳本和 Imagen 2 圖片編輯,以及 Text-to-speech 等多個 Google AI 技術協作,高效生產了主題豐富、圖文并茂、帶有聲音講解、適合視障兒童們學習的視頻,幫助老師們提升教學效果。
愛百福的老師們透露,他們計劃將慧眼識教產品分享給來自印度、菲律賓、馬來西亞的多家機構,以幫助全球更多的視障兒童。
慧眼識教
為了幫助視障人士自由跑步,上海有人公益基金會與谷歌公益志愿者在谷歌開源項目 Project Guideline 的基礎上,積極探索了更適合中國視障人士的無障礙解決方案:智引線。智引線結合了 TensorFlow 的深度視覺學習模型,利用手機攝像頭捕捉并分割引導線,創建實時更新的虛擬地圖為跑者引路,并通過耳機用空間音頻技術為跑者糾正路線,使視障跑者得以享受獨立跑步的樂趣。
智引線
有這樣一群人,他們的第一語言是中國手語,但是他們卻經常身處口語環境中交流,面臨巨大的溝通障礙。為了讓他們能夠自由地與他人交流,北京聯合大學基于 Google Project Shuwa 開源項目構建了手語村(中國手語版)網站。這個項目全部由聽障開發者獨立開發,借助 MediaPipe Holistic 模型和 TensorFlow 框架等技術,能夠實時識別和分析身體語言、面部表情和手語動作,使用機器學習模型來識別和預測手語的含義,并提供學習反饋,幫助學習者更快掌握正確的手語表達。同時結合虛擬旅游體驗,學習者可以通過游戲化的方式了解聽障群體,促進無障礙溝通和理解。
手語村
調查顯示,聽力障礙會影響到兒童語言能力的發展,妨礙其正常學習和生活,即使通過助聽設備重建聽力也不意味著他們能夠很好地和世界溝通。為了給聽障兒童提供陪伴式口語訓練,福州大學與廈門大學的開發者們在谷歌中國教育合作項目的資助和支持下開發了聽語精靈。這個項目包括“能說會道”、“妙語連珠”和“對答如流”三個主要的功能模塊。
“能說會道”基于谷歌 TensorFlow Hub 中的預訓練模型,對圖像進行目標識別,獲取物品信息,再借助數字人技術生成帶有口型引導的聲音輸出,為孩子提供正確的發音指導。目前團隊正在嘗試結合 Gemma 模型和 Text-to-speech 等技術完善其他模塊,進一步為聽障兒童提供互動性和沉浸式的語言學習體驗。
聽語精靈
據統計,全球約有 7000 萬人受到自閉癥的影響,每 160 名兒童中就有 1 人患病。幫助孩子們理解世界是干預和治療自閉癥的前提,但由于教師和資源有限,自閉癥兒童恢復社交并非易事。Galaxy Explorer 項目誕生于思否主辦、Google 作為內容合作方的 “Innovate for Good” 善創未來黑客馬拉松,靈感源自于與自閉癥兒童的繪畫互動。Spark Lab 團隊洞察到自閉癥兒童能與繪畫產生深度鏈接,因此將 Google Cloud Vertex AI 提供的 Gemini 模型和 TEACCH 教學方法結合,利用 AI 生成多輪個性化故事卡片和視頻,連成完整故事;并通過 Text-to-speech 為視頻配音,讓孩子們在互動中提高社會認知和情緒表達能力。同時 Galaxy Explorer 還提供數據化分析報告,幫助家長們更好地理解和支持孩子的發展。
Galaxy Explorer
在谷歌,我們不止希望能夠幫助有障人群更好地生活,也致力于為所有用戶開發更具包容性的產品。如 Pixel 手機的 Guided Frame-引導入鏡功能,通過震動與語音提示的方式不僅能為視障或低視力人士提供拍攝指導,同樣也能幫助使用三腳架或后置鏡頭自拍、看不到屏幕的所有人;Project Relate 通過實時識別說話者語音,使用標準語音重述,幫助語言障礙人士更輕松地與他人交流。“為所有人打造更好的產品體驗”這一精神貫穿無障礙科技分享會和包容性設計工作坊始終。嘉賓們在無障礙科技分享會中,結合實踐案例分享了如何通過 Google 技術和用戶洞察開發更具包容性的產品,以及如何助力中國開發者進行公益創新。在包容性設計工作坊中,嘉賓分享了無障礙設計的重要性,開發者在導師組織和鼓勵下進行了無障礙設計的嘗試。
現場精彩一覽
除了提供無障礙支持,助力開發者開發包容性產品,谷歌還與大學攜手,用谷歌技術為中國的區域環境保護和非遺文化傳承貢獻力量。
草場豐盛意味著牦牛能吃飽長大,牧民有更好收入。但高原地區季節天氣多變,對牧草質量和牦牛生長帶來極大影響。西南民族大學通過 Flutter 開源跨平臺框架和 TensorFlow 技術,開發了高原智牧助手,幫助紅原縣的育種專家高效管理數據。
該應用不僅能收集分析牧草種子數據和檢測估算牦牛體重,還設計了放牧規劃模塊和草蓄平衡模塊,幫助牧民記錄草場情況。利用谷歌 ARCore 技術,牧民搭建虛擬草場,能夠更直觀地學習草蓄平衡知識,在提高科研效率同時,促進了生態環境的可持續發展,助力高原牧民的幸福生活。
高原智牧助手
此外,Google 技術還為廣西非物質文化遺產的保護和傳承貢獻力量。廣西民族大學利用 BERT 自然語言處理模型 和 TensorFlow 機器學習框架,基于時間空間關聯模型,搭建了一個多維度非遺文化體驗平臺。這一創新平臺能幫助用戶探索非遺知識,根據時間節氣了解民俗與節日特色,甚至能以“傳唱非遺”的形式進一步了解少數民族語言和歷史,助力傳統文化煥發新生。
谷歌堅持以科技之力,幫助不同人群獲取生活便利和平等學習、工作機會,助力中華藝術文化傳承,攜手開發者們共創美好、平等、包容的未來。
*部分 Google AI 技術適用于出海開發者
2024 Google 開發者大會
專題演講視頻持續更新中
掃碼直達官網
觀看精彩回放