AI學會了用“人眼”看世界，甚至連人類瞳孔的細微縮放都能模擬
博雯 發自 凹非寺
量子位 | 公眾號 QbitAI
為了搞清楚人類是怎麼看世界的，計算機開始學著“轉動眼球”了：
然後憑藉轉動的眼球“蒐集要觀測的資訊”，再聚焦在文字或者影象上，開始“收集資料”：
不僅能正常讀書看畫，甚至能模擬人類在無聊、興奮、緊張等各種不同情緒下的瞳孔放縮、眨眼頻率的細微變化。
事實上，這是
杜克大學
的研究人員最新開發的一種“虛擬眼睛”，可以精確模擬人類觀測世界的方式。
這項研究目前已經開源，並即將發表於通訊類頂會IPSN 2022上。
透過這項研究得到的幾近真實的資料，將全部反哺給計算機。
這些資料有什麼用？
這種基於眼球追蹤（Eye Tracking）技術得到的資料常常被稱為
眼動資料
，包括注視時長、眼跳、追隨運動等多個屬性。
就如我們常常將眼睛成為心靈之窗一樣，這些眼動資料能反映不少人類的真實資訊。
比如，瞳孔的擴張、眼跳、遊移次數可以表現當前主人的情緒（無聊或興奮）、注意力是否集中、對某項任務是新手或嫻熟、甚至是對某種特定語言的精通與否。
這項研究的作者之一Maria Gorlatova甚至表示：
（眼動資料）可能無意中暴露出性別和種族偏見、我們不想讓別人知道的興趣，甚至我們自己都不瞭解的資訊。
因此，對這些眼動資料的學習和研究，自然也就能產生一系列感測應用：包括認知負荷估計、久坐活動識別、閱讀理解分析和情感識別。
很多企業和開發者，比如微軟的VIVE Pro Eye，已經開始採用眼球追蹤來實現基於目光的新的互動和環境感知。
然而，在收集大規模的、有標籤的眼動資料時，難免會碰到幾個問題：
人類視覺行為的隨機性增加了資料收集的成本
與人類受試者合作過程中可能涉及隱私侵犯問題
生產模型訓練所需的資料的時間成本過高（可能需要數以百計的人帶著裝置不間斷地用眼數小時才能產生）
虛擬眼睛收集資料
如何解決上面的問題呢？杜克大學的研究團隊提出了一套受心理學啟發的模型
EyeSyn
。
這一模型只利用公開的影象和影片，就能合成任意規模大小的眼動資料集。
它的整體架構如下：
整體思路是以影象和影片作為輸入，並將其作為視覺刺激，以生成相應的眼動資料。
大的架構又由三個小模型組成：
ReadGaze模型
模擬
文字閱讀
中的視覺行為。
擁有一個基於文字識別的檢測模組、一個模擬跳讀視覺行為的模擬器。
VerbalGaze模型
模擬在
口頭交流
中固定在面部某個區域、以及在面部不同區域之間切換注意力的視覺行為。
擁有一個面部區域跟蹤模組、一個基於馬爾可夫鏈的注意力模型（Markov Chain-based Attention Model）。
StaticScene和DynamicScene模型
模擬感知
靜態和動態場景
過程中的眼球運動。
擁有一個基於影象特徵的顯著性檢測（Saliency Detection）模型，用以識別視覺場景中潛在的定點位置。
△動態場景中的眼動資料
基於這些構成，EyeSyn
不需要
基於已有的眼動資料進行訓練，上崗就能直接開始工作。
並且，與傳統眼動資料的收集過程相比，EyeSyn在模擬不同的眼動跟蹤設定、視覺距離、視覺刺激的渲染尺寸、取樣頻率和受試者多樣性上，也更加方便快速。
現在，只基於一小部分影象和影片，EyeSyn就可以合成
超過180小時
的眼動資料，比現有的基於目光的活動資料集大
18到45
倍：
研究人員Maria Gorlatova表示， “合成數據本身並不完美，但這是一個很好的起點。”
小公司不用再花費過多的時間和金錢與人類受試者合作，建立真實活動資料集，而是可以直接使用這種方法。
這種更加快速的眼動資料的生產方式，將使得普通的VR、AR、還有元宇宙平臺中的相關應用程式的製作都更加便捷。
△Maria Gorlatova
論文：
https：//www。researchgate。net/publication/359050928_EyeSyn_Psychology-inspired_Eye_Movement_Synthesis_for_Gaze-based_Activity_Recognition
開源連結：
https：//github。com/EyeSyn/EyeSynResource
參考連結：
https：//techxplore。com/news/2022-03-simulated-human-eye-movement-aims。html
