虛擬現實技術發展歷史概覽及關鍵技術要素剖析
一、虛擬現實技術發展史及趨勢
1.1 資訊三維化是正在進行的技術革新，而虛擬現實是重要技術載體
當下，正在發生的資訊科技的底層革新是“資訊三維化”，底層移動通訊技術的迭代升級，是承載資訊科技發展的核心驅動力。
在資訊科技的發展過程中，展示資訊的方式從 2G 時代的簡訊所代表的文字資訊、轉向 3G 時代的貼吧所代表的圖片資訊、再轉變為 4G 時代火爆的影片資訊；其承載的內容資訊密度和可體驗維度持續得到升級。到了 5G 時代，在解決了傳輸基建問題後，三維化的資訊越來越成為主流，所謂的『全真網際網路』，很大程度上也是由三維資訊構成的；包括全景內容、環物內容、模型內容等，這些都屬於VR內容的範疇。
因此，VR 是資訊三維化的載體技術。
VR 是資訊三維化的載體技術
1.2 虛擬現實技術有著清晰的發展歷程
虛擬現實技術在漫長的技術成長曲線中，歷經概念萌芽期、技術萌芽期、技術積累期、產品迭代期和技術爆發期五個階段後有所發展。
1935年，一本美國科幻小說首次描述了一款特殊的“眼鏡”；這副眼鏡的功能，囊括了視覺、嗅覺、觸覺等全方位的虛擬現實概念，被認為是虛擬現實技術的概念萌芽。
到了1962年，電影行業為一項模擬模擬器技術申請了專利，這就是虛擬現實原型機，標誌著技術萌芽期的到來。
再到1973年，首款商業化的虛擬現實硬體產品 Eyephone 啟動研發，並於1984年在美國發布；雖然和理想狀態相去甚遠，但是開啟了關鍵的虛擬現實技術積累期。
直到1990年-2015年間，虛擬現實技術才逐漸在遊戲領域中找到落地場景，標誌著 VR 技術實現產品化落地；包含飛利浦、任天堂都是這個領域的先驅，直到 oculus 的出現，才真正將 VR 帶入大眾視野。
從2016年開始，隨著更好更輕的硬體裝置出現，更多內容、更強頻寬等各種基礎條件的完善，虛擬現實迎來了技術的爆發期。
1.3 VR、AR、全息概念釐清
提到虛擬現實，很多人會和增強現實、全息投影等概念混淆，而這三者到底有什麼異同點呢？以下影片可幫助人們釐清：
00：10
1.4 虛擬現實技術在使用者側的核心引數
VR 技術的核心使用者體驗由三部分組成：沉浸感、流暢度、可互動度，且三個部分也都可以細分為多個核心引數指標：
▍沉浸感
沉浸感決定了使用者在感官上的體驗是否自然，或者說與真實世界的相似度是否可以“以假亂真”。當前虛擬現實技術對於現實的模擬還主要集中在視覺技術上，如何讓使用者可以在一個“全包圍”的環境中，恰到好處地得到三維空間化的視覺感官，是沉浸感的關鍵。
沉浸感的核心引數包括：視場角（FOV），以及重新整理率（FPS）。
視場角大小決定了光學儀器的視野範圍，比如人類單眼 FOV 為200度，雙眼的重合 FOV 是120度；那麼 VR 裝置的視野範圍就要向這個方向去靠攏甚至超越，目的是讓人感覺身處一片空間內，而非看到一塊螢幕。如果視場角過小，那麼使用者就會感知到圖片邊緣的無效畫素部分，進而被提醒“這只是一塊離你眼睛很近的螢幕”。
重新整理率是指電子束對螢幕上的影象重複掃描的次數，重新整理率越高，所顯示的圖象（畫面）穩定性就越好。過低的重新整理率會導致影象閃爍和抖動，進而導致眼睛疲勞及暈眩；因此，
一般在 60 FPS 及以上，感受會比較舒適。
▍流暢度
流暢度決定了沉浸感的持續程度如何，它的核心引數主要體現在丟包率（PLR）上。目前我們在虛擬現實裝置上體驗的內容有一大部分是與網路息息相關的，有些內容可直接在線上拉流體驗（點直播）；有些內容則需要進行雲端的校驗或者邏輯處理才能在客戶端上體驗，因此網路包的丟失率嚴重影響著沉浸內容的體驗。若丟包率較高的情況下，會出現卡頓等嚴重的惡劣體驗，這個時候，沉浸感就無從談起了。
▍可互動度
可互動度決定了人在主動發起互動操作時，環境對於操作互動的反饋情況；越接近真實世界的物理規律，那麼對於使用者沉浸感就越有利。例如將籃球砸向地面，則符合真實的互動體驗是籃球反射彈起，因此需在互動設計上做好預期；另外，可互動度還有一個核心引數概念：動畫時延（MTP）。
動畫時延指當用戶發起一個互動動作，其預期反饋抵達體驗者的時間。如上文舉例，從使用者透過 VR 硬體裝置做出將籃球扔向地面的互動動作開始，到該指令抵達雲端進行邏輯判斷後，透過雲端的反饋指令下發到客戶端，繼而再到客戶端進行邏輯運算、渲染；終端使用者看到該籃球從地上彈起，這收尾的時間就是 MTP。MTP 時間越短，可互動度越好，使用者的沉浸感、真實感就會越強。
1.5 VR技術的制約因素
▍
三大制約因素
VR 技術目前受制於電池技術、近眼顯示技術、以及感知互動三重限制，其中除了電池技術是橫向制約很多行業方向的底層制約外；近眼顯示和感知互動兩個技術對虛擬現實領域的限制都有其特殊性。
VR 技術的三大制約因素
▍
光學技術限制展開
如上文所述，光學層面決定使用者體驗，包括暈眩感、視場角等體驗；而光學層面的核心問題則是解析度（清晰程度）、視場角（視野範圍）、重量體積（美觀舒適）存在潛在衝突。
VR 頭顯的光學示意圖
由於 VR 裝置的分屏播放以及球面渲染的實際解析度會遠遠低於面板的解析度，所以對螢幕畫素密度（PPI）要求很高。
例如一般影片都有 480P、720P、1080P 等不同解析度格式，如果要在 VR 頭顯的螢幕上進行畫素對齊，那麼就需要 VR 影片的播放率對應為 8k、12k；而當前主流的 VR 影片流還停留在 2K 和 4K 階段。
此外，從 PPI 角度來說，普通手機螢幕在 300ppi 左右，要達到人類肉眼看手機的清晰度，就需要 VR 的近眼顯示屏達到 2000ppi 左右。
因此，以上相關難題就造成了兩個核心的近眼顯示方向的問題：
（1）沒有合適的螢幕可以承載極高的解析度和畫素密度；
（2）即使問題（1）滿足，也不具備對影片進行解碼和傳輸的算力和傳輸技術。
▍
感知互動技術限制展開
虛擬現實領域的感知互動方向主要有兩塊技術：同步定位與建圖技術（SLAM）、以及手勢互動技術。
SLAM 指在陌生的環境中，能夠精準建立時空對應關係；並回答“我在哪裡”、“這是什麼地方”、“我該怎麼走”等問題，也就是定位、建圖和路徑規劃。
目前 SLAM 的實現有多種方式，主要分為 outside-in tracking（外向內追蹤），和 inside-out tracking（內向外追蹤）。前者主要透過在制定空間內，部署光學定位器，例如 HTC VIVE；後者主要透過在 VR 頭顯上，內建若干個（一般2~4個）攝像頭，基於三角定位原理計算空間位置，例如 Quest、Pico、奇遇等主流一體機。
inside-out vs outside-in
手勢互動可以分為基於手柄的非裸手互動控制，以及基於攝像機視覺演算法的裸手互動。裸手互動的硬體方案包括 RGB 攝像頭、3D 攝像頭（TOF、結構光、雙目視覺）和資料手套（感測器）。
不管 SLAM 還是手勢互動，當前的主要技術限制還是存在於演算法精度層面。
1.6 虛擬現實技術產業鏈一覽
對於 VR 行業的技術趨勢而言，虛擬現實技術已經過了“泡沫幻滅期”，進入“緩慢爬升期”，並且相信很快就會進入“穩步增長期”。虛擬現實技術已經在國內外形成了複雜且完備的產業鏈，技術的價值出口已經初步開啟並擴大。
當前，虛擬現實技術產業鏈一共分為4個分段，分別是硬體、軟體、內容、以及應用（場景），而每個分段又有不同的子方向構成。
虛擬現實技術產業鏈一覽
由此可見，虛擬現實技術已經邁入了廣泛的產業化程序，這是一個不可逆的、令人興奮的程序。
二、虛擬現實技術要素剖析
2.1 虛擬現實產業的本質是 VR 內容的生產和消費
虛擬現實產業的本質是 VR 內容的生產和消費，因為虛擬現實技術是資訊三維化中的一環，而資訊科技的載體則是內容。另外也可從增長飛輪的維度來看當前虛擬現實產業正在運轉的模式：
首先需要生產更多適配場景的 VR 內容，進而透過滿足消費場景來增加使用者或者說服客戶；待買家增多後就能吸引更多 VR 內容製作者，從而就擁有技術生態來支援更多基礎技術及 VR 內容工具的投入，以幫助內容生產者實現降本增效，提升 VR 內容單位固定成本的盈利。收益見漲，更多 VR 內容將被生產，從而開啟下一輪飛輪的運轉。
VR 內容的增長飛輪
2.2 VR 內容三大核心技術：資料三維化、互動多人化、渲染雲端化
圍繞 VR 內容的生產和消費，共提煉了三大核心技術，分別是：
資料三維化
——如何低成本地生產三維化資料，或者如何低成本地將海量現存的二維資料三維化，這個技術的作用在於降低 VR 內容的生產成本。
互動多人化
——人的沉浸體驗來自於兩方面：對三維世界的感知，以及和世界的互動反饋。互動多人化技術基於三維資料的感知之外，能夠賦予 VR 內容真實的互動反饋，乃至社交體驗，該技術的作用在於提升 VR 內容的消費體驗。
渲染雲端化
——資訊密度、可互動度的提升，對應的是對終端算力、顯示器件的要求提升。虛擬現實技術要成為主流的大眾科技，就不能囿於高效能終端；那麼基於一個集中的、雲端的算力池子進行遠端計算，終端渲染，則稱為最佳選擇，而該技術的作用在於擴充套件 VR 內容的消費場景。
資料三維化
——
資料三維化的核心要素是演算法層面的，以及其上下游採集、定位、算力排程等技術，主要的技術要素包括：基於 GRB 的三維重建演算法、GPU加速技術（如 CUDA）、通用背景摳除演算法、採集裝置光學能力、SLAM 演算法。
一種基於多角度 RGB 影象進行三維重建的演算法示意
互動多人化——
互動多人化將虛擬現實技術的體驗推向了虛擬的數字平行世界，是虛擬現實技術與元宇宙結合的天然銜接，其中的主要技術要素包括：大規模狀態同步、視覺（虛擬形象）、語音語義、音影片、區塊鏈、智慧導航。
百度推出的首個國產元宇宙產品希壤
渲染雲端化
——
渲染雲端化的核心要素主要集中在大規模後臺叢集方向、以及音影片方向，主要包括：分散式容器、流化技術、邊緣計算、音影片、5G。
百度VR推出的雲渲染解決方案
三、結語
虛擬現實技術是一個典型的長期構思、長期積累，最終在各項底座依賴相對成熟後，厚積薄發的技術方向；它是資訊三維化浪潮的核心載體技術，且在產業落地的道路上穩健前行，因此我們堅信該技術正在進入穩定增長區間。
近期伴隨著元宇宙概念的興起和產品技術實踐的熱潮，我們看到了虛擬現實技術更加廣闊的未來方向是成為元宇宙領域的容器型基礎技術。而百度正在這個方向躬身前行，願為技術的進步、行業的發展而篳路藍縷、一往無前。
