谷歌重磅AR功能來襲，融合街景海量資料，目標打造世界級AR體驗
近兩年，谷歌在AR業務上動作頻繁，不僅為谷歌地圖、谷歌搜尋推出AR功能，還收購了AR顯示技術廠商Raxium、從微軟和Meta挖角AR/VR人才，還有傳聞稱谷歌重組的實驗室中有半數人在研發代號Project Iris的AR頭顯。
如果說，這一切是谷歌為再一次釋出AR硬體產品做準備，那麼其AR平臺ARCore的動向則同樣值得關注。目前，谷歌和蘋果分別擁有市面上最主流的兩大AR平臺：ARCore和ARKit。儘管這兩家公司在AR研發的公開/秘密動作不斷，但ARCore和ARKit平臺在近兩年的新內容逐漸減少，值得關注的大更新較少。唯一有看點的是ARKit支援LiDAR感測器，該功能提升了3D定位效果，為房間級AR體驗帶來可能。
谷歌作為追隨者，近兩年對於ARCore的更新也比較緩慢。值得注意的是，今年穀歌舉辦了一場“含AR量”比往年更高的I/O大會，帶來多項AR相關更新和展示，包括重磅功能：ARCore Geospatial API，可向AR開發者開放Live View AR定位技術，目的是推動AR室內外導航、LBS AR遊戲等豐富的應用場景。除此之外，還公佈了谷歌地圖的“沉浸檢視模式”、Google Lens多重搜尋的本地關聯模式，展示了AR眼鏡在實時翻譯場景的用途。
Geospatial API重磅釋出
近年來，LBS AR技術持續發展，應用場景越來越豐富，不再侷限於《精靈寶可夢Go》等遊戲場景，還可以用在互動藝術展、數字孿生、AR地圖、培訓指導等場景。早期的AR應用形式主要是獨立的內容，由於缺乏對物理環境的3D感知、持續的空間錨定等功能，幾乎不可能支援多人AR共享玩法。而在Niantic等公司推動下，構建大規模基於地理位置的3D地圖逐漸成為可能，為更優質的LBS AR提供底層技術。
Niantic透過自家AR應用向用戶收集物理環境資料，而谷歌的策略則是依託於谷歌地圖、地球的大量資料，因此在構建全球3D視覺定位系統（VPS）方面同樣具有強大的競爭力。過去，谷歌一直在谷歌地圖中測試這項技術，推出了Live View AR導航等基於視覺定位的功能。而現在，谷歌將Live View技術進一步開放，結合強大的谷歌地圖資料庫，為室外VPS導航，遊戲互動，LBS AR體驗帶來更多可能性。
簡單來講，ARCore Geospatial API為開發者帶來了Live View的底層技術，包括大規模雲錨點功能，以及全球視覺定位系統的訪問許可權，可用於開發多人共享的AR應用。該技術基於谷歌地球3D模型資料和街景影象資料，原理是將數百億張街景影象轉換為支援VPS定位的3D點雲，共提取了數萬億個3D資料。只需不到一秒時間，便可根據3D點雲資料定位裝置的位置和方向。
Cloud Anchors本地對映
在2019年時，谷歌曾推出一個基於地理位置的AR雲錨點API：ARCore Cloud Anchors，同樣可以在物理位置固定AR，Cloud Anchors卻與Geospatial API有明顯的區別。通常，ARCore的錨點功能需要在本地建立影象對映，然後再進行定位。相比之下，Geospatial API不僅支援本地3D對映，還透過經緯度和高度來錨定AR內容（覆蓋全球超87個國家/地區）。
意味著即使是非本地場景，開發者也無需到現場或掃描物理空間，就能準確定位AR，進而大幅節省LBS AR內容的開發時間和成本。同時，在任何街景地圖覆蓋的地方，使用者都可以用手機相機掃描周圍環境，並快速、準確的獲取AR導航等內容。
將世界變成AR畫布
據悉，ARCore平臺已經支援數十億臺裝置，是幫助開發者構建沉浸式AR體驗的強大工具。而接下來，為了鼓勵更多開發者利用Geospatial API開發AR內容，谷歌發出口號，邀請開發者“將世界變成自己的畫布”，以構建全球規模的AR內容。
谷歌表示：Geospatial API包含了谷歌地圖15年來對於現實世界的探索，可幫助開發者構建更身臨其境、內容更豐富、更實用的AR應用。
目前，一些品牌和開發者已經開始採用該API，NBA、Snap、Lyft也是谷歌Geospatial API的早期合作伙伴，他們將谷歌AR定位技術應用於教育、娛樂、公共事業等場景。而共享電動車公司Bird和Lime利用AR導航來指導使用者正確停放電動車/滑板車，而Telstra和埃森哲則利用AR來為體育迷/音樂會觀眾提供室內導航功能，幫助他們找到自己的座位、攤販和洗手間。此外，DOCOMO和Curiosity基於ARCore Geospatial API打造了一款互動式AR遊戲。
除此之外，谷歌還希望更多開發者基於Geospatial API來為火車站、商場、機場等室內場景打造AR導航/地圖。
無獨有偶，從谷歌獨立出去的Niantic一直以來都在開發LBS AR遊戲，而Niantic本月下旬的開發者大會上也將釋出自己的VPS視覺定位系統。當然，我們猜想Niantic的VPS系統也有可能和谷歌合作，畢竟現在內嵌地圖系統都是谷歌地圖。
AR雲、VPS定位一直都是AR初創公司描述美好未來的紅海專案，很多初創公司都有描述相關業務，但現在很多公司很多公司都找不到影子，還活下來的也基本上看不到什麼有效成果，難度可想而知。
對谷歌這種掌握大量街景視覺的巨頭來說，切入VPS視覺定位有著十足優勢。谷歌此舉，一方面是對眾多初創公司的沉重打擊，二是大家都可以基於這一開放的VPS平臺展開更多業務。
沉浸檢視模式
早在2021年，谷歌就公佈3D地圖計劃，相比於谷歌地球、街景地圖這種全景形式，3D地圖觀感更加立體，可從多個角度、近距離檢視建築、景點的內外部結構。
在本屆I/O大會上，谷歌正式釋出3D地圖模式：“Immersive View”（沉浸檢視模式），為你在谷歌地圖上提供一種探索城市、地標、餐廳、場館、名勝古蹟等地點的新方式。
據瞭解，谷歌的“沉浸檢視模式”利用計算機視覺和AI技術開發，將街景和航拍圖融合成視覺立體的地圖模型，從谷歌官方展示圖來看，該模式比傳統街景地圖更加沉浸、更具互動性，還特別加入一個“時間滑塊”功能，允許你檢視特定地區在一天中不同時間的外觀變化，比如在黃昏時可以看到月光。在檢視建築內部時，“沉浸檢視”也可以讓你看到室內的大量細節和角度。
谷歌表示：沉浸檢視模式將於今年下旬在安卓和iOS系統推出，首發僅面向部分城市，包括洛杉磯、倫敦、紐約、舊金山和東京，未來還將陸續支援其他城市。
可以想象，將2D地圖升級為3D模型需要時間和成本，想要規模化並不容易。為此，谷歌早前就在探索基於NeRF-W的合成演算法，根據2D圖片合成逼真、連貫的3D視角，這項技術對於谷歌開發3D地圖將起到關鍵作用。此前青亭網也曾報道過這項技術，包括其背後的原理和細節。
Google Lens功能最佳化
除了AR外，谷歌也看好視覺搜尋的前景，認為它將成為未來搜尋技術的關鍵部分，甚至可能比語音搜尋、移動搜尋等技術更加重要。谷歌表示：Google Lens使用者平均每個月搜尋的次數達80億，是一年前的三倍。人們對於視覺搜尋的需求是存在的，接下來要做的是深入研發，以尋找最有價值的應用場景。
為此，谷歌宣佈擴充套件Google Lens智慧鏡頭的“多重搜尋”（multisearch）功能，為其加入“附近搜尋”功能，意味著你可以將視覺搜尋結果連線到附近的地點。這種更加智慧的視覺搜尋功能，未來可能與AR眼鏡有很好的結合。
據悉，多重搜尋是一種同時用文字和影象來進行搜尋的功能，簡單來講就是在視覺搜尋基礎上，可以進一步設定顏色、附近等關鍵詞，來最佳化搜尋結果。比如，當你看中一條連衣裙的款式，但是想要尋找另一種顏色，便可以利用多重搜尋功能掃描這條裙子，然後再輸入目標顏色來細化搜尋結果。
而新增的“附近搜尋”功能指的是，當你用Google Lens搜尋某家連鎖餐館時，可以進一步搜尋“我附近”，這家餐館離你最近的店。甚至，還可以拍攝零件來關聯附近五金店，搜連衣裙匹配周圍服裝店，或是掃描食物照片搜尋附近的餐館選單/外賣。
除了購物等日常生活場景外，谷歌認為視覺搜尋還可以解決社會上的一些問題，比如幫助人們學習環保，幫助救災人員快速整理捐款等等。而相比於單純的視覺搜尋，多重搜尋的好處是支援更復雜的搜尋結果，搜尋體驗更智慧。目前，谷歌還在研發在一張影象/場景中同時搜尋多個物件的模式，比如掃描書架上的書後，便可檢視關於各種書的資訊等。隨著視覺搜尋越來越複雜、智慧，其與AR眼鏡結合的價值也越來越明顯。
實際上，在去年7月接受外媒GQ採訪時，Google Lens產品經理Lou Wang就表示在AR眼鏡中整合Lens功能是可行的，未來視覺搜尋功能可以像語音搜尋那樣普及。儘管智慧手機生命週期還很長，但如果用AR眼鏡就能進行一些簡單的視覺搜尋，也許可以補充手機的功能，為使用者帶來更多便利。
在本屆I/O大會上，儘管谷歌並未展示Google Lens在AR眼鏡上執行的效果，但還是展示了AR眼鏡的另一種場景：實時翻譯，可以將自然語言轉化為文字，幫助你和周圍的人更流暢溝通。當然，目前這似乎只是一個應用概念，從前不久的報道來看，傳聞中谷歌的Project Iris原型的體積類似於滑雪護目鏡，因此未來谷歌能否在普通眼鏡形態的AR硬體中實現強大的功能，令人非常期待。
