本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

10年前，乃至100年前，你長大的那條街道長什么樣？

[[346939]]

△大谷Spitzer

現在，除了用AI修復老影像資料，谷歌還發布了新的「時光旅行」方案。

就像這樣，用3D視角，一覽1890年到1970年曼哈頓切爾西區的建筑變化。

是不是有點歷史更迭內味兒了？

這樣一臺「時光機器」的引擎，是谷歌推出的基于瀏覽器的工具集rǝ（音return），主要由3部分組成：

• 一個眾包平臺。用戶可以上傳城市歷史地圖，將其與現實世界的坐標進行匹配，完成地理修正，并將其矢量化。
• 一個時空地圖服務器。能顯示城市地圖是如何隨時間變化的。
• 一個3D體驗平臺。運行在rǝ地圖服務器之上，利用深度學習，根據有限的歷史圖片和地圖數據重建3D建筑，創造3D體驗。

以眾包方式打造

重現城市的過去，最大的難點就在于數據：可用的圖像很少，從圖像中獲取的元數據比之現代地圖自然也少得多。

為了應對這一挑戰，谷歌的工程師們用上了基于Google Cloud和Kubernnetes運行的開源工具rǝ。

其作用在于，采用眾包的方式，讓用戶們共同打造一個具有時間維度的地圖服務器。

具體而言，用戶可以通過瀏覽器上傳各個年代紙質版地圖的掃描件，對其進行地理校正，使歷史地圖與現實世界的坐標相匹配。

然后，通過追蹤地理特征，比如標志性建筑、道路等，將歷史地圖轉換成OSM矢量格式。

這些矢量地圖經過圖塊服務器（tile server）的渲染之后，就會變成通常在谷歌地圖上看到的，可以放大和平移的滑塊地圖（slippy map）。

重建3D模型

接下來，就是利用這些圖像和地圖數據，重建曾經在歷史上出現過的建筑們的3D結構了。

這里的難點在于，大多數情況下，一個建筑的歷史圖像很可能只有一張。為此，谷歌工程師們開發了一套由粗到細的識別重建算法。

如圖中所示，首先，根據眾包注釋或自動檢測算法識別地圖標記和歷史圖像中的建筑立面，為其生成粗略的3D結構。

與此同時，算法會識別建筑立面上所有窗戶、入口、樓梯這樣的獨立組件，并根據其類別分別重建精細的3D結構。

兩者相結合，就得到了最終的3D網格。這一結果會被存儲在3D資源庫中，為下一步渲染做好準備。

該算法涉及的SOTA深度學習模型包括：

• 用窗戶、入口、樓梯這樣的立面組件注釋訓練的RCNN，用于定位歷史圖像中的邊框級實例。
• 語義分割模型DeepLab，提供每個語義類的像素級標簽。
• 專門設計的神經網絡，用以確保一個立面上生成的窗戶之間間距相等、形狀一致。同時也保證不同語義類，比如樓梯和窗戶之間的一致性，使這些組件被放置到合理的位置上。

還原全球城鎮，還有《微軟模擬飛行》

在此之前，微軟也和AI初創公司Blackshark.ai合作，上線了全球最大仿真游戲《微軟模擬飛行2020》，通過機器學習2D轉3D的模式，還原了全球200萬個城鎮、15億座建筑物和3.7萬個機場。

游戲一上線，知名游戲測評媒體IGN就給它打出了滿分10分。

并且，Blackshark還透露，這樣的技術未來或將用于自動駕駛。

那么，谷歌這次推出的懷舊項目你又覺得可不可呢？

如果你感興趣，也不妨加入其中，谷歌表示，歷史數據集和源代碼均將開源~

傳送門

官方博客：
https://ai.googleblog.com/2020/10/recreating-historical-streetscapes.html

Rǝ工具集：
https://re.city/#14.25/40.74094/-73.98798