驍龍8四倍AI算力“硬科技”：上可超分下可增強訊號，多個演算法同時跑
原創 Synced 機器之心
機器之心報道
機器之心編輯部
2022 年的手機是這個樣子：它會自動幫你整理所有訊息，掃二維碼不需要解鎖，根據握持方式改變接收訊號的天線，還能聽說話的聲音判斷你是否患有疾病。
從異構算力，到可以升級的 GPU 驅動，高通的手機晶片，總能引領行業的新方向。
11 月 30 日，高通釋出的全新一代驍龍 8 移動平臺（驍龍 8 Gen 1）讓我們對即將推出的安卓旗艦手機有了期待，從最近解禁的跑分來看，這塊晶片 GPU 峰值效能提升了 59。7%，在 GFXBench 上分數甚至要比 iPhone 13 Pro 的 A15 還要高。
這還不是最大的，全新一代驍龍 8 可謂進行了全方位的升級，其搭載的第 7 代 AI 引擎實現了效能翻四倍的表現，提升了不止一個臺階，帶來了全新的體驗。
除了展臺上的工程機可以穩定 60 幀玩《原神》，在驍龍技術峰會上，人工智慧的概念貫穿始終，驍龍已被打造成為了所有移動終端協同工作的核心。
多個 AI 模型同時跑
過去，App 通常同時只會執行一到兩個神經網路。但為了更好的體驗，我們的應用中增加了越來越多的機器學習模型，隨著終端特性的發展，這些神經網路每年又都在變得更復雜。
高通表示，第 7 代 AI 引擎可以在維持低功耗的同時搞定這些需求。
作為重要手機晶片廠商的產品，驍龍的 AI 引擎正在為 18 億人提供支援，已經實現的一些強大功能包括：在拍攝照片時，機器學習演算法會自動幫助人們調整相機設定，獲得最優成像效果。AI 還能識別並理解使用者語音，並基於使用者指令完成任務。在一些品牌的手機上，系統應用甚至能夠實時將人們的對話翻譯成不同語言。
驍龍的「專用 AI 處理單元」Hexagon 處理器的情感判斷處理速度要比 CPU 快 30 倍，允許手機進行諸如 Transformer 架構模型的本地處理。
高通展示了 Hugging Face 透過自然語言處理模型 BERT 處理分析手機上所有下拉通知中的內容，AI 會分析每條資訊文字中的語氣和情緒，將其按照緊急、重要、不緊急等情形分類顯示，讓你不會錯過老闆催促的郵件。如果訊息太多找不到，你還可以用語音發出指令搜素特定型別的訊息。
在感測器中樞模組上，驍龍 8 還獨創性的加入了一枚「always on」晶片模組，這枚功耗極低的 ISP 可關聯終端的攝像頭，帶動相機 7×24 小時全天候啟動，從而帶來一些方便和安全特性——如果探測到二維碼，手機將自動喚醒應用進行識別；在你用完手機放在桌面上時，它會自動鎖屏；如果你拿著手機，有別人越過你的肩膀偷看，手機也會自動鎖屏；又或者你想給別人分享手機螢幕主屏上的內容，這時短訊息的提示橫幅會被自動隱藏。
很多人在買來手機時有一件要做的事就是把各種息屏顯示、抬手喚醒功能關掉以追求省電，不過在驍龍 8 上你不用這麼做了，新一代感測器模組 AI 算力提升了 75%，能耗降低了 50%。高通還承諾新的 ISP 在工作時不進行拍照或攝像，資料不出模組單元，可確保使用者的隱私安全。
高通展示了基於第 7 代 AI 引擎的攝像頭 AI 應用。手機攝像頭支援更出色的自動對焦、自動曝光和自動白平衡調節，手勢檢測讓使用者無需按下任何按鍵即可拍照，還有基於 AI 的影片背景虛化等特性。
背景虛化 + 面部識別 + 姿態識別 + 手勢，多種神經網路的效果現在已經可以同時在手機端實時完成了。
人臉上的細節也很重要。高通 Spectra 首次全面取代了構成攝影基礎的傳統演算法，讓 AI 徹底接手了拍攝任務 ，其可識別人臉特徵，確定拍攝物件的眼睛是否睜開，甚至是否在微笑。全新的人臉特徵引擎可以檢測 300 個特徵點，而且還針對更多人臉特徵進行了訓練，包括眉毛、嘴唇、下頜線等。
除了對焦和特效，AI 引擎和相機引擎可以協同工作，每秒處理 32 億畫素，實現更強的變焦能力。去年搭載於驍龍 888 上的「夜間模式」將大約六幀照片組合在一起形成合成影象。而驍龍 8 的相機多幀大引擎將結合大約 30 幀，提供「五倍的夜間模式」。因為在暗光條件下有更多的畫素被追蹤到，相機可以智慧過濾掉因手抖引起的模糊，進而獲得更清晰的影象。同時，人工智慧還可以消除廣角鏡頭的畫面扭曲。
隨後是虛擬現實技術，高通展示了 AI 變革購物體驗的新方向。透過 AR 技術，人們可以在家中佈置虛擬傢俱、虛擬試穿運動鞋，實現更多個性化的購物體驗。這些應用都是透過高通 AI 引擎最佳化實現的。
在驍龍 8 移動平臺上，高通還將 AI 技術融入到調變解調器和射頻系統中，帶來了全球首個 AI 天線調諧技術，檢測使用者握持終端時手部的位置並切換接收訊號的天線，旨在實現更快資料傳輸、更佳網路覆蓋和更久電池續航。
第 7 代 AI Engine，效能能效都翻倍
這些都是如何做到的？我們知道，要想跑得起 AI 模型就需要強大的算力。在驍龍 8 移動平臺的 AI 引擎上，高通實現了迄今為止最大的一次 AI 算力進步。
具體來說，第 7 代 AI 引擎包含多個低功耗的 AI 子系統，由下一代 Adreno GPU、Hexagon 處理器、Kryo CPU 和第 3 代高通感測器中樞（Sensing Hub）組成，它們分別處理不同的計算需求。整個 SoC 的多個計算單元實現了 6TOPS 的異構算力。
在應用廣泛的一些 AI 模型上，如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等，推理速度比前代 AI 引擎快 4 倍，同時 AI 運算能效比前代提升了 1。7 倍。
第 7 代 AI 引擎能夠實現如此量級的提升，很大程度上得益於新一代的 AI 軟體：除了 Hexagon 處理器張量計算效能翻倍，共享記憶體翻倍以外，其 AI 軟體效能也提升了 2 倍，現在支援了 INT8 + INT16 的混合精度計算。
更大的記憶體意味著晶片可以執行更大、更深的神經網路，而更高的精度則可以讓演算法推理的結果更加準確。開發工具上，新的神經網路處理 SDK 更新了運算元支援，Qualcomm AI Engine Direct 可直接接入移動端深度學習框架 TensorFlow Lite 和 Android NN API，方便開發者將自己的 AI 模型更快地應用在移動端。
用手機完成桌上型電腦的任務
新的 AI 技術層出不窮，要如何把機器學習模型塞進手機呢？對於工程師們來說這是一個非常有挑戰性的工作，使用 AI 技術自動來完成是一個很有前景的方向。高通和谷歌合作，將神經網路架構搜尋（NAS）引入了驍龍平臺，並已整合進第 7 代高通 AI 引擎。
正如 AutoML 的思路，高通提供的 NAS 工具 Neual Processing SDK 可以將硬體配置、工作需求（如幀數、準確度）作為引數輸入，由 AI 演算法幫助工程師快速實現深度學習模型的最優設計。
AI 可以從最基礎層面開始，根據初始網路搜尋並進行最佳化構建符合移動端硬體的模型。它能夠考慮時延、網路規模、精度、功耗等目標，讓模型在手機上執行得更快，而開發者的工作時間也可以從數月縮短到數週。
驍龍是全球首個支援 Google Cloud Vertex AI NAS 的移動平臺。此前，高通有關提煉最佳神經網路架構的研究 DONNA 還被人工智慧學術頂會 ICCV 2021 接收。高通希望在未來讓 NAS 功能幫助多端部署工作，讓 AI 模型快速部署至手機、膝上型電腦、VR 裝置和汽車上。
除了以上提到的技術和用例之外，驍龍 8 的 AI 引擎還能夠實現哪些黑科技？比如，高通表示他們在與 Sonde Health 合作，開發一種基於音訊識別的診斷技術，讓手機只需要傾聽你的聲音就可以判斷是否有抑鬱、哮喘等健康問題。
當然還有遊戲畫面中的超解析度技術：
透過利用歷史幀資料和 GPU 最佳化運動估計，Adreno 影象運動引擎可以讓一些遊戲的畫面以雙倍幀率執行，同時保持近乎相同的功耗。
如今全球的遊戲玩家已經超過 30 億，而手機遊戲每年的收入佔比高達 52%。這其中，支援 Snapdragon Elite Gaming 的晶片組出貨量已經超過 8 億顆，高通的新技術會讓很多玩家受益。按照高通的說法，就是要讓移動遊戲玩家享受端遊級遊戲體驗。
高通和各家 OEM 廠商、科技公司僅在今年就交付了超過 200 個機器學習模型。未來我們還可以看到更多以往無法想象的技術在手機上出現。
開啟移動體驗的新變革，就需要最先進的技術。明年搭載驍龍 8 的旗艦手機上，效能強大，功耗降低，功能豐富的 AI 技術會給我們帶來怎樣的體驗？讓我們拭目以待。
THE END
轉載請聯絡本公眾號獲得授權
投稿或尋求報道：content@jiqizhixin。com
原標題：《驍龍8四倍AI算力「硬科技」：上可超分下可增強訊號，多個演算法同時跑》
