生理資料檢測虛擬現實VR系統裝置的體驗和效果

駕駛員不能暈車

虛擬現實（VR）技術允許模擬各種應用環境，現在正在向公眾傳播。儘管最近有一些技術改進，但VR體驗和效果仍然是一個主要問題，使用者使用系統或裝置完成預定任務期間，所產生的生理資料反映了實際體驗和效果，“正如“駕駛員不能暈車”。

這種現象可以廣義地定義為使用者在使用VR裝置時可能遇到的不適感。這種反應是暈動病的同義詞，可能類似於暈船或暈車。人們普遍認為，這是由於使用者在虛擬世界中進化時傳送到大腦的不同感官資訊之間的衝突和不一致而發生的。在VR中，最常見的衝突是來自兩個獨立系統的運動資訊之間的差異：前庭系統（位於內耳）和視覺系統。這種差異將被大腦檢測到，並將在敏感的參與者中誘發VR不適感的症狀：噁心，嘔吐，以及頭痛，定向障礙，眼睛疲勞等。症狀的強度和持續時間變化很大。在許多情況下，症狀在刺激結束後幾分鐘消失。但是，一些使用者在VR體驗後幾個小時報告了症狀的持續存在。

駕駛員不能暈車

VR體驗和效果的評估仍然是一個持續的研究領域。目前的方法主要基於主觀測量，如：問卷調查，自我描述，並且它們已經顯示出幾個缺點（例如，它們是非連續的和侵入性的）。與此同時，一些研究顯示了面板電、心臟活動和VR

體驗和效果

之間的關係。VR不適症狀誘發前庭自主神經反應。由於前庭和自主神經系統之間的聯絡，這種反應意味著交感神經和副交感神經活動。因此，可以檢測並利用相應的生理反應來評估VR疾病或暈動病的發生進而分析

實際體驗和效果

。

然而，對生理訊號的利用是非常具有挑戰性的。最近出現的機器學習方法為超越以前的限制開闢了新的機會。使用監督技術，構建評估數學模型的訓練旨在自動推斷輸入資料（即提取的生理特徵）和輸出資料（即VR不適症狀）之間的功能：見圖1。換句話說，模型經過訓練，可以檢測與VR實際體驗和效果水平相關的生理模式。經過訓練後，這些模型可以提供一種相關的方法，使用生理資料實時自動識別VR實際體驗和效果，而無需主觀反應。

生理資料，一種檢測VR的實際體驗和效果

為此，與IRT b-com和Ubisoft的Human Factors Technologies團隊合作，對100多名參與者進行了研究。

我們的研究

使用機器學習方法，構建評估數學模型被訓練來預測VR實際體驗和效果水平。參與者被要求玩30分鐘的VR影片遊戲。與此同時，Empatica E4可穿戴裝置收集了生理資料（心臟和面板電活動）。此外，為了標記我們的資料，參與者被指示每45秒以量表表達他們感知的VR不適症狀水平。根據我們之前的研究，選擇Empatica E4是因為它提供了與更具侵入性的感測器相似的結果。

方法

實驗表明，機器學習模型可以達到高達91%的準確率（在分類方法中）。透過這種方式，機器學習方法對於基於生理訊號的VR實際體驗和效果進行實時，自動和持續的評估似乎很有前途和有價值。

結果

自VR開始以來，人們一直在探索VR不適症狀。已經提出了許多對策來減少其發生，例如減少視野（FOV），但是，無論使用者的當前狀態如何，幾乎總是應用它們，即使使用者沒有遇到任何麻煩，也可能導致沉浸感的減少。

所提出的方法為根據使用者的實際VR實際體驗和效果水平實時系統改造、場景構建、改編影片遊戲鋪平了道路。此外，用於檢測VR不適症狀的生理活動現在很容易使用Empatica E4等可穿戴感測器收集。透過這種方式，訓練好的模型可用於實施自適應措施，以防止VR不適症狀。這些對策可以是簡單的改編，例如FOV降低（無論場景、遊戲如何都可以應用）或更復雜的改編（例如，硬體最佳化、引擎變更、修改定製的場景以避免最有可能誘發VR不適症狀的場景，如樓梯或快速移動）。

最後，我們的研究說明了在生態環境中使用互動式VR內容時，有機會獲得VR實際體驗和效果水平的非侵入性，線上和自動識別。

**Nicolas Martin自2021年起擔任格勒諾布林阿爾卑斯大學（法國）的研究科學家。此前，他曾在IRT b-com（法國Cesson-Sévigné）擔任研究科學家6年。他於2017年獲得雷恩第二大學的博士學位。他的主要研究興趣包括機器學習、生理計算和人機互動。

另一方面，Martin Ragot是IRT b-com的人為因素技術團隊的認知科學研究員。他的科學工作更側重於在負責任的創新框架內對新技術的影響和感知。