波導還是光纖掃描？深度解讀Magic Leap顯示技術

測焦距如何減少系統誤差

文章相關引用及參考：kguttag

本文術語繁多，如發現錯誤，希望您能向映維網反饋以修正。

（

映維網 2018年02月26日

）現任Navdy CTO Karl Guttag希望透過Magic Leap的專利解開迷霧，探討Magic Leap正在做的事情。Karl Guttag在圖形和影象處理器，數字訊號處理（DSP），儲存器架構，顯示裝置（LCOS和DLP）以及顯示系統（包括抬頭顯示器和近眼顯示器（增強現實和虛擬現實））方面擁有40年的經驗。

Karl Guttag將主要討論Magic Leap於2017年3月24日提交的，並於2017年9月28日公開的專利申請2017/0276948（’948）。在2017年12月20日正式釋出產品後，《滾石》為Magic Leap撰寫了獨家專稿，詳述Magic Leap One工作原理、外觀、感受以及發展。 Karl Guttag認為沒有什麼可以比這個專利更能概括說明Magic Leap在顯示技術上的方向了。

1。 潛在顯示技術

Magic Leap在2017年申請的11項專利中都有一個圖表明確說明了一個搭載典型分束器配置和LED照明的矽基液晶（LCOS）顯示引擎。早期Magic Leap專利申請突出顯示的光纖掃描顯示器（FSD）已經被降級為“一些實施例”。在圖6，LCOS顯示系統（250）正透過一條沒有編號的資料線連線至“影象注入裝置（360-400）”。

有趣的是，這與Magic Leap在2015年申請的‘939專利不同。 “多個顯示器（200，202，204，206，208），或者在另一個實施例中的單個多路複用顯示器…”變成了2017年專利的“影象注入裝置”。

雖然2015年的專利申請提及了40多次光纖掃描顯示器，但專利同時提及了約40次DLP/DMD。但是，‘939專利申請中僅提及了一次LCOS，並且不是作為顯示裝置，而是作為光學遮擋/遮蔽。

我們先翻翻歷史，剝繭抽絲。似乎2015年的圖表（根據2014年的申請和2013年下半年提交的臨時申請）是假定FSD為主要顯示器。但在檔案提交的時候，他們開始轉向DLP來實現聚焦平面，“光學多路傳輸”就是DLP實現的連續影象。

“注入光學（2060）”可能是圖8A中的“影象注入裝置（360-400）”

到在2016年的專利申請中，我們更多地看到了LCOS的身影，而‘789專利中最為突出顯示了LCOS。但在其他專利申請中，LCOS仍然只是出現在以FSD作為開頭的列表中。

來到2017年，我們看到專利顯示了LCOS引擎，並且順位高於FSD。而大部分相同的專利甚至沒有提及DLP。

Magic Leap仍然在託辭說（至少在他們的專利中），光纖掃描顯示器（FSD）可能會在未來某一天實現。我曾在2016年11月解釋了“不可能是光纖顯示器”的部分原因，而一些非常簡單的數學可以證明，隨著解析度的提高，光纖的速度將會變得令人難以置信地高。Magic Leap肯定有很多人知道，或者應該知道他們無法提高FSD的解析度，然而他們卻一直在專利申請中寫上這一點，這感覺就像是某種宗教崇拜一樣。

Magic Leap至今所做的一切，包括公開的和我（Karl Guttag）的訊息源所說的，都指出Magic Leap正嘗試僅透過兩個“焦平面”來解決“視覺輻輳調節衝突”問題。我在2016年11月26日曾討論過VAC和Magic Leap的一般方法。而最近的專利申請進一步證實了這一點。上面的圖表和下面的流程圖（結合圖19到21A）似乎總結了Magic Leap目前的方法以及他們試圖解決的問題。

雖然上面圖8A的疊層表明有5層波導，但每種顏色需要3個波導（如果允許更多的藍色模糊，則只需2個波導）。有關每個深度平面使用3個波導或2個深度平面使用6個波導的示例，請參見上面於2016年申請的‘789專利的圖6。

‘948專利敘述了VAC問題（圖10A和10B），並且提供了2個聚焦平面是如何減少屈光度（1/焦距）測量的視覺誤差量的圖示（圖15）。圖19-21A則說明了他們的方法，而這種方法相當簡單，而且可以粗略總結成：

根據眼睛聚焦點的位置，選擇一個焦平面進行顯示

如果眼睛聚焦點移動，等待掃視或眨眼，然後改變平面或者如果時間太長，無論如何都要改變平面

如果所選平面上的內容超過“閾值”，則“修改影象”（比如說模糊）

儘管這似乎證實了Magic Leap的發展方向，但對我來說，這不夠巧妙。實質上，這種方法主要是追蹤眼睛及其行為，然後在單個焦平面上生成影象，接下來就將影象中應該失焦的部分渲染為模糊。

這與Magic Leap從DLP轉向LCOS的方針保持一致（DLP可以支援多個同步的聚焦/深度平面，而LCOS的速度通常不夠快，無法在不產生令人討厭的顏色場序崩潰的情況下同時支援場序制顏色和聚焦平面）。透過每幀只顯示一個深度平面，它將支援使用LCOS。

下面引用專利檔案內容：

利用這裡描述的技術，我們可以改善虛擬內容的感知呈現質量。例如，可以減少可察覺的視覺偽影，比方說可以降低在不同深度平面之間切換內容時所引起的閃爍，特別是當顯示系統以變焦模式操作時。

這種VAC方法似乎與Avegant使用DLP的VAC方法相反，Avegant告訴我他們沒有使用眼動追蹤，而是讓眼睛實時選擇焦點/深度平面。儘管我在一年前短暫體驗了Avegant的頭顯原型，但我無法進行進行廣泛的評估，包括影象質量。然而，我注意到一個可能會被描述為閃爍的影象問題（映維網：那只是早期原型）。對於Magic Leap的專利，一個值得關注的地方是深度/焦點平面方法容易造成時間偽像，而我們至少可以從這份專利看出，他們正試圖緩解這個問題，但不是完全解決它們。

上面是Magic Leap在專利中所描述的內容，“現在參考圖9B，一個關於多個疊加波導的例子的透檢視”。這就是Magic Leap所宣稱的“光子光場晶片”。它們看起來與微軟Hololens所使用的波導非常相似。Hololens也在為各種顏色的光線使用堆疊式/分層式波導。另有傳聞稱，波導製造導致Hololens和Magic Leap成本高昂的主要問題。

如前所述，上面的圖9B說明Magic Leap使用了3個波導，每個顏色一個。為支援兩個深度平面，必須使用6個波導（如Magic Leap專利2017/0329075所示）。

我們可以將所有的資訊串聯起來，其表明Magic Leap正使用LCOS作為主要的顯示裝置，而波導則類似於微軟HoloLens。最大的區別在於Magic Leap提供兩個焦平面，而一次只顯示一個，然後使用軟體模糊應該失焦的虛擬物件。他們正在使用4到6個波導的堆疊，分成兩個焦平面。

對於波導透過一個場序制LCOS裝置，這存在許多已知的限制。也就是說，你可以預期裝置將會是類似於Hololens的東西。

2。 光纖掃描/波導/焦平面

儘管你無法在Magic Leap的專利申請中發現“光子光場晶片”的蹤影，但他們的確探討了衍射（主要）波導。我此前曾談論過光導的主要問題。文章從波導的技術方面談起，但在專利部分我發現了Magic Leap在光學/硬體上的專利行為。

Magic Leap最初從三個關鍵技術方面切入：

光纖掃描顯示（FSD）

細薄衍射波導（為實現“太陽眼鏡般的外觀”）。Magic Leap將其稱之為“光場晶片”，其中出射衍射光柵（exit diffraction grating）顯示錶面焦點

透過聚焦/深度平面解決視覺輻輳調節衝突（VAC）。Magic Leap將其稱為之“光子光場”。Magic Leap的發明是希望尋找一種方法，各種波導層將通過出射光柵顯示不同的表面焦距。

這一切都可以追溯到2013年的幻燈片（上圖幻燈片）和他們的早期專利，比如‘253專利中的圖8A（出現在多項2015年和2016年的專利中）。你會看到光纖掃描顯示器200，202，204，206和208支援5個焦平面。如果FSD有效，那麼至少在理論上，你可以輕鬆在光學上將光纖路由至5個光纖掃描顯示器光纖，將5個影象傳輸至5個平面。

Magic Leap希望透過多個聚焦/深度平面來解決VAC問題，而他們的解決方案高度依賴於光纖掃描顯示器，但這永遠都不會是一種實際可行的顯示技術。由於堅持“光子光場”這個概念，他們令這個錯誤變得更加複雜，而他們不得不將聚焦/深度平面縮減至兩個。

早前的專利表明他們希望/需要5-6個深度平面來解決VAC問題，如‘496專利中的圖7所示。在‘495專利中，他們甚至在圖9中說明了一個可以支援多於2個聚焦/深度平面的非波導光學系統。

但為了實現“光子晶片”和利用他們的發明，深度平面的數量需要從5-6個大幅縮減至2個。一個在無窮遠處，一個在近處。將影象傳輸至單個堆疊波導，在光學上非常複雜和困難，同時十分昂貴，即便只是兩個平面也如此。與此同時，由於仍然存在大量的空隙/錯誤，目前不清楚兩個聚焦平面在解決VAC問題上的效果。

由於他們不得不透過傳統的顯示器來探索解決方案（首先是DLP，然後是LCOS，最終他們越來越像HoloLens，只是“旁邊多了一個包包”），第二個聚焦/深度平面會增加成本和光學複雜度，並且損害影象質量。

跟圖8A的簡圖不同，全綵波導通常由三個物理波導層組成，一個紅色，一個綠色，一個藍色（兩層也可以，但會犧牲影象質量）。圖11B來自於Magic Leap的‘739專利。

即便我們假設FSD可行，對於他們認為可以透過每個平面增加3個波導來支援2個以上聚焦平面的想法，這不能不算是天真單純。由於現實影象和虛擬影象要透過的衍射光柵會增加，每個波導都會增加成本和降低影象質量。即便只是2個聚焦平面，根據Magic Leap‘075專利中額度圖15B，擺在使用者面前的足足有6層波導。

在早期，Magic Leap希望FSD能夠解決將各種影象傳輸至各自聚焦平面入射光柵的問題，但如果FSD不可行，他們將不得不尋找其他解決方案。

他們的專利涉及了許多不同的方法，這表明這他們仍然在探索可行的解決方案。下面我將介紹他們專利申請中的部分方法。

對於‘075專利（圖15B），儘管專利仍然認為FSD存在可能性，他們使用了兩組顏色，兩種不同波長的綠色，兩種紅色，兩種藍色來照亮一臺（LCOS）裝置。儘管波長選擇在理論上似乎很合理（杜比3-D已經將其應用於電影院之中），但在實踐中，聚焦平面之間有可能出現大量的串擾，因為來自一個平面的“綠色”的衍射光柵會影響另一個平面的綠色。此外，專利指出透過增加過濾器來獲取更多的波長分離（但這顯然會浪費光線）。

在2016年，我寫到專利20160327789似乎是最適合的方案。在‘789專利中，他們從位於稍微不同位置的兩組LED光源開始入手。注入光學元件進一步分離了兩個平面的影象，這樣它們將進入兩個彼此分離的注入光柵。

Magic Leap專利20170248790塞滿了各種不同的技術，採用分束器和其他方法將影象傳輸至不同的入射衍射光柵（entrance diffraction gratings）。圖3和圖19是其中一系列方法中的兩種。

Magic Leap專利中顯示的另一種技術是雙面波導，兩端設有一個入射埠（如上圖）。

所有這些方法都說明了一個問題：為了支援第二個深度平面，它們為物件增加了大量的光學複雜度，而光學複雜度幾乎總是會對成本和影象質量產生不利的影響。

3。 為什麼光纖掃描顯示不可行

對於Magic Leap所做的一切，我認為光纖掃描顯示（FSD）是一個“驚天大騙局”。原因是Magic Leap在一開始就煞費苦心地將其當作是他們的“核心技術”，所以今天許多人相信這是一個可行的方案。然而，小學四年級的數學都能證明這是不可能的解決方案。但在2017年，“光纖掃描顯示”仍然出現在33項Magic Leap專利之中。

就FSD而言，華盛頓大學HID實驗室曾表明，他們能夠透過一個光纖投影儀來製作出低解析度，高失真的FSD投影儀，他們同時釋出了論文和專利說明。

也許會說，“只需進一步最佳化即可”，“摩爾定律”，“合理提高解析度”……因為隨著你提高解析度，光纖就需要極高的速度移動（解析度越高，幀速越快）。但即使是在較低的解析度/速度下，影象都會出現高度失真，而且強度上也非常不均勻。

大家可以在網上搜索“roll length calculator”，又或者直接訪問一個名為Handymath的網站（點選前往）。然後參考Ivan Yeoh在2015年的博士論文題目（關於FSD最佳和最新公佈的文章），他有180個螺旋，影象中間一圈的名義畫素為360，幀率是50Hz。需要注意的是，這不考慮奈奎斯特從網格到螺旋的重新取樣。

首先是1mm下的360畫素（或者1mm/36）=每圈約為0。00278mm。然後我們增加至1080P（1920×1080畫素），這需要1080圈來實現1920×1080畫素的影象。

然後我們藉助Handymath提供的計算器進行計算（輸入和結果如下所示），0。00278mm意味著約6mm的外直徑（0。00278×1080×2），輸入所有相應的資料我們可以得出10。17米。Yeoh論文中只是180圈，一圈的名義畫素為360，而長度僅為0。26米，但僅僅只是要做到這一點，重新整理率仍需要達到50Hz。

要透過一塊零視覺暫留顯示器防止閃爍，你需要將重新整理率提高至120Hz（不是50Hz，也不是60Hz）。因為每一次觸及外邊緣的完整“掃描”涉及一次來回，120Hz就意味著你需要每秒走過240螺旋的長度。

因此對於1080p來說，光纖的移動速度需要達到10。17米×240/秒=2400米/秒。作為參考，聲音傳播速度是約343米/秒（隨溫度和空氣密度產生變化），所以光纖的平均速度要達到聲速的7倍，而且由於兩端來回掃描涉及一個“加速—減速回零—再加速—再減速回零”的迴圈，光纖必須實現一個高於聲速14倍的峰值速度。

如果這對你來說不夠瘋狂，Magic Leap同時需要這麼一個光學（清晰的）光纖：能夠以所需共振頻率移動，同時將其全部控制在一個近乎完美的真空中，所以無論它是什麼，它都不會因為空氣摩擦而自動燃燒，而且聲震不會破壞使用者的聽覺。更不要說你要防止使用者的大腦被震成果凍。如果你能夠發現這種神奇的材料，它在來回迴圈掃描時必須要遵循一條確切統一的路徑（特別是在中心位置），否則畫素將不會出現在正確的位置，並且/或者會出現畫素扭動的情況。

你可以嘗試上文的假設，代入不同的資料，但你無法以一種合乎邏輯的方式來得出一個合理的數字。顯然，Magic Leap或華盛頓大學的論文或專利中沒有任何關於如何實現720p或1080p有效解析度的解釋說明。

關於FSD是一種可行解決方案的說法仍然不絕於耳，而且Magic Leap仍然在專利申請中提及FSD。當然，Magic Leap沒有一份論文或專利談論這個“神奇”光纖的速度。

正如我上次所說，Magic Leap的整個深度平面概念都完全站不住腳。對於Magic Leap專利中所幻想的支援6個聚焦平面，他們需要6×3=18個波導的堆疊，而且需要更加瘋狂的光學佈線。