Google 面館營業(yè)啦!揭秘拉面背后的機器學習技術(shù)
代碼不止,活力不止!
谷歌面館正式“營業(yè)”
想體驗一把拉面大師的快感?
現(xiàn)在前往 2020 Google 開發(fā)者大會官網(wǎng)
馬上創(chuàng)建自己的“代碼拉面”!
來谷歌面館體驗虛擬拉面
勞逸結(jié)合身心更健康
連續(xù)六天的谷歌開發(fā)者大會不僅帶來了滿滿的技術(shù)干貨,更鼓勵日夜與代碼奮戰(zhàn)的開發(fā)者們勞逸結(jié)合,在觀看演講的間隙也可以活動放松,補充滿滿元氣。運用 TensorFlow.js 中的 PoseNet 來實現(xiàn)動態(tài)捕捉,玩家只需要從網(wǎng)絡攝像頭和瀏覽器參與互動即可輕松體驗歡樂的”代碼拉面“。
來到谷歌面館到底怎么拉面?每局拉面限時 60 秒,玩家可以想象自己是拉面大師,通過活動手和上半身的動作配合來制作虛擬“面條”,比如盡可能地上下移動拉扯面條,也可以加速甩動表演酷炫拉面絕技。
在拉面過程中也要時刻心手配合收集特殊配料以獲得增加面條長度的點數(shù),但也要小心如果接到“黑暗料理”則會縮短面條的長度。得分越高就能解鎖更多“拉面英雄徽章”!是不是手癢癢等不及來谷歌面館“一決長短”?使用電腦參與游戲體驗更佳哦!
TensorFlow.js 實現(xiàn)動態(tài)捕捉
創(chuàng)建 “代碼拉面”
谷歌面館正是基于 TensorFlow.js 中的 PoseNet 來實現(xiàn)動態(tài)捕捉,將用戶的肢體動作與“拉面”概念做結(jié)合,創(chuàng)造出有趣又好玩的互動體驗。
整個體驗中最關鍵的是手部動作的檢測。通過從 PoseNet 中選擇經(jīng)過預演的模型,并在裝置攝像頭實時進行手部位置的估計,TensorFlow.js 就可以在瀏覽器中運行現(xiàn)有的機器學習模型,無需花太多精力即可實現(xiàn)手部動作檢測。通過這一系列技術(shù)支持,玩家可以在游戲中移動、拉伸、扭曲虛擬的面條。
谷歌面館中還使用了 Angular 構(gòu)建主體框架,為網(wǎng)站功能設置了強大的基礎架構(gòu),然后結(jié)合 TensorFlow.js 和 PoseNet 中豐富的模型庫來自動檢測手勢和各種肢體動作,直接從網(wǎng)絡攝像頭和瀏覽器擺姿勢創(chuàng)建真人的實時視覺建模。以及游戲渲染和物理引擎(如 Phaser )也用于幫助實現(xiàn)一根根面條在虛擬環(huán)境中呈現(xiàn)真實的物理狀態(tài)。
Angular
用于在 HTML 中構(gòu)建動態(tài)和交互式應用程序的現(xiàn)代 javascript 框架。它可以將網(wǎng)頁用作模板語言,并擴展 HTML 的句法,清晰簡潔地表達應用程序的組件。
TensorFlow.js
一個使用 Javascript 和高級 API 進行機器學習的開源庫。如果您不熟悉機器學習技術(shù),那么這是一個很棒的初學者工具,可根據(jù)你的需求定義,運行和訓練模型。
PoseNet
一種視覺模型,用于通過標記關鍵的身體位置來檢測和預估圖像或視頻中的單人或多人姿勢。該技術(shù)無法識別圖像中的人物,該算法只是檢測由“Part ID”索引的關鍵點,置信度得分在 0.0 到 1.0 之間,其中 1.0 為最高。點擊了解動作捕捉如何讓 SVG 角色在瀏覽器中栩栩如生!
谷歌面館的誕生只是一個開始,我們期待通過谷歌面館這一互動體驗,激發(fā)更多開發(fā)者與 TensorFlow 開源代碼社區(qū)一起,用技術(shù)創(chuàng)造更多超乎想象的可能性,探索更非凡的交互體驗。話不多說,一起點擊 2020 Google 開發(fā)者大會官網(wǎng)把面拉起來!