高通Ziad Asghar：AI處理的重心向邊緣側轉移，智慧手機是最佳平臺
蕭簫 整理自 MEET 2023
量子位 | 公眾號 QbitAI
從Stable Diffusion到ChatGPT，這半年AI演算法應用可謂突飛猛進。
但對於硬體領域而言，AI計算的下一個突破口或未來趨勢究竟是什麼？
尤其是AI應用最大的領域之一——移動端，大量AI演算法在這裡遭遇考驗，也在這裡部署落地。
作為移動硬體領域對終端側AI最有話語權的晶片廠商之一，高通對於未來AI計算的發展方向是如何預測的？
在MEET2023智慧未來大會上，高通技術公司產品管理高階副總裁Ziad Asghar分享了自己對於提升AI處理效能、以及未來AI計算發展方向的思考：
資料會不斷從邊緣側產生，因此AI處理的重心正在持續向邊緣轉移。
邊緣側是進行AI處理的最佳選擇。
為了完整體現Ziad Asghar的分享及思考，在不改變原意的基礎上，量子位對他的演講內容進行了編輯整理。
關於MEET智慧未來大會：MEET大會是由量子位主辦的智慧科技領域頂級商業峰會，致力於探討前沿科技技術的落地與行業應用。今年共有數十家主流媒體及直播平臺報道直播了MEET2023大會，吸引了超過300萬行業使用者線上參會，全網總曝光量累積超過2000萬。
演講要點
資料會不斷從邊緣側產生，因此AI處理的重心正在持續向邊緣轉移。
消費者希望有更好的資料隱私，所有的終端資料能夠留在終端上，希望資料可靠，處理結果即時獲取。因此，邊緣側是進行AI處理的最佳選擇，而高通一直在推動這場變革。
AI處理的最佳平臺是智慧手機，因為它隨時隨地可用，且人人都有、人人可用。
過去所有的AI推理都在雲端進行，如今大量推理工作正在被轉移至邊緣側完成。
終端側的實際資料可能讓模型的訓練效果產生重要變化，同時提升其泛化能力。
自動駕駛領域充滿挑戰，它必須能高精度分辨人類和障礙物，否則後果不堪設想，這也恰好是AI的用武之地。
（以下為Ziad Asghar演講實錄整理）
AI處理下一階段：邊緣計算
今天我將和大家分享的主題是，高通如何讓智慧網聯邊緣
（Connected Intelligent Edge）
成為現實。
這幾年來，我們的團隊研發了不少前沿AI技術，也一直在不斷提升終端側的智慧水平。
在此期間，我們“將很多不可能變成可能”，不僅打造了一些全新的應用案例，增強和改進了現有產品的體驗，還透過AI技術提升了終端側和產品的效能。
聚焦終端，我們會發現資料不斷從邊緣側產生，因此我們認為，
AI處理的重心正在持續向邊緣轉移
。
主要有兩方面原因：
一方面，消費者希望保護個人資料隱私，即將終端資料保留在終端裝置上；另一方面，消費者又需要可靠的資料、並即時獲得處理結果。
因此，邊緣側是進行AI處理的最佳選擇，而高通一直在推動這場變革。
著眼當下，高通已經在智慧手機領域取得了突破性的成果，也將不少AI演算法應用到了影像、圖形處理等功能中。
隨著我們不斷向前發展，這些技術還會被整合到XR眼鏡、PC、物聯網、汽車等產品當中，而這些產品也會應用更多AI技術，目的是帶來更好的體驗、突破更多瓶頸。
所以，高通究竟運用了哪些讓產品脫穎而出的技術？
首先，高通專注於基於“
統一的技術路線圖
”進行產品開發。
作為能夠全面覆蓋智慧網聯邊緣、實現規模化擴充套件的技術，它涵蓋了邊緣AI、前沿的視覺效果和視覺技術、圖形和遊戲技術、新穎的多媒體效果、極快處理速度，以及5G連線能力等特性。
我們將這些技術進行規模化擴充套件，從耳機等較低複雜度的產品，一直延伸到汽車、ADAS系統等高複雜度的產品。
這張圖片展示了AI技術的一系列應用場景，當然這還只是終端裝置中的一小部分：
至於這些AI技術，則包含了自然語言處理、面部識別等多種不同的能力。
然後就是
高通AI引擎
了。得益於這一核心成果，目前高通的AI技術已經賦能20億終端。
高通AI引擎包含圖形處理單元、CPU、以及更關鍵的Hexagon處理器，其中Hexagon處理器又包含標量、向量和張量處理器。
如果從神經網路架構來看，你會發現標量、向量和張量處理器能很好地與神經網路模型的不同部分
實現匹配
，這正是我們模仿自然界的神經網路模型、從而打造Hexagon處理器的原因。
那麼，高通AI引擎具體能做些什麼？
根據一些基準測試資料，高通AI引擎表現十分出色，顯著超越了同行產品效能。
從第一代驍龍8到第二代驍龍8，我們都非常專注於自然語言處理
（NLP）
、目標檢測等模型的效能最佳化。
以MobileBERT模型為例。正如圖片所展示，針對這個NLP模型，我們將處理速度提升了超過4倍：
我們還會持續最佳化效能、不斷突破模型極限，在邊緣側實現更多能力。
此外，我們還開發了
具有高度可擴充套件性的硬體架構
。
高通的移動平臺，通常會配置一個Hexagon處理器例項；但如果擴充套件到計算等其他業務時，也可以使用兩個Hexagon處理器例項；面向汽車、雲和邊緣，則可以使用多個Hexagon處理器例項來提高算力。
但這也需要針對性地面向可擴充套件性進行開發。而高通已經具備這樣的獨特演算法和架構，讓這種技術成為可能。
從效能和能效角度來看
（既定功耗下可以釋放多少效能）
，我們已經多方面超越了競爭對手，這是基於過去幾年積累的技術不斷提升的成果。
例如根據效能基準測試AITuTu，在排名前十的AI平臺效能列表中，驍龍平臺就佔據了前四名，包括第二代驍龍8、以及此前釋出的第一代驍龍8、驍龍8+和驍龍888。
△資料來源：AITuTu
這其中甚至還有驍龍7系產品入榜，也是我們技術實力的體現之一。
如今，我們的目標是讓AI無處不在——
因此，AI處理的最佳平臺應該是
智慧手機
，因為它隨時隨地可用，而且人人都有、人人能用。
如何提升端側AI處理效能？
為了讓AI在終端側發揮最大作用，我們帶來了哪些技術呢？
其中之一，是支援
INT4精度推理
。
相比於INT8，INT4能夠實現60%的能效提升和90%的AI推理速度提升。如果從INT8轉化到INT4、或從浮點計算轉化到整數計算，在同樣的算力下我們就能夠處理更多資料。
如果把32位浮點模型轉化為INT4模型，這個能效甚至可以提升到64倍。
這些是我們已經在邊緣側實現的技術。
可以看到，將模型從INT8轉化為INT4時，推理精準度和畫面質量均沒有受到影響。這也得益於我們打造的前沿工具和軟體，用它們能夠讓前沿技術與我們的硬體方案充分結合。
除了持續提升效能、並應用Hexagon處理器引擎以外，在晶片子系統中，我們還集成了一個小型、“始終線上”的引擎，稱之為
高通感測器中樞
。
它能同時處理多路資料流，包括感測器、語音和音訊、連線和始終感知的攝像頭等，有了它我們就能實現更多應用案例。
實際上，我們將高通感測器中樞的AI能力提高了一倍，透過增加50%的儲存，提升它安全方面的效能，包括人身安全、資料安全、健康等等。
舉例來說，讓它具備識別隱患聲音的能力，比如半夜傳來的玻璃破碎聲，這樣就能使用AI賦能的高通感測器中樞進行監測、並採取對應的預警措施。
透過高通感測器中樞，我們還能提升平臺包括關鍵詞識別、異常檢測、影象分類能力在內的AI能力。從第一代驍龍8到第二代驍龍8，這些效能提升了近九倍。
如今，我們已經有了全面的解決方案，這裡就包括業界領先的軟體產品，
高通AI軟體棧
。
高通AI軟體棧能夠實現“模型一次開發，跨所有高通產品線進行擴充套件”。也就是說，使用者只需開發一次模型，就能在所有不同產品中使用它。
這不僅為高通、也為消費者和客戶帶來了獨特體驗，讓他們真正感受到這項技術帶來的便利。
高通AI軟體棧支援所有主流框架，包括TensorFlow、PyTorch和ONNX等等，也提供數學庫、編譯器等全面的工具支援，讓客戶能夠充分利用高通獨特AI硬體的優勢。
但正如我前面提到的，包括INT4在內的特性和體驗，都需要特別的工具能力。因此，我們開發了全新的工具產品，即
Qualcomm AI Studio
。
如下面這個影片所示，Qualcomm AI Studio可以實現模型全面管理，包括模型建立、執行情況監測，模型分析等，從開發到執行實現全面支援。
這讓我們能夠充分發揮INT4的能力，給使用者帶來更好的體驗。
下面這張圖清晰展示了我們對於模型完整生命週期的規劃，它可以被應用到我們所有的業務和產品線，成為高通產品中一種獨特的優勢。
我們還支援神經網路架構搜尋
（NAS）
等功能和體驗，它允許開發者設定某些模型最佳化目標，比如具體功耗最佳化、時延或者精準度等，同時我們還與谷歌就Google Vertex AI NAS展開了合作。
這些不同的產品線讓我們大幅改善了時延、並顯著提升精準度，下圖的1。3%就是一個相當顯著的精度提升。
OPPO率先與高通基於Vertex AI NAS展開了合作，提升終端AI的體驗。
邊緣AI下一步往哪走？
接下來的AI發展方向是什麼？
過去所有的AI推理都在雲端進行。如今，大量推理工作正在被轉移至邊緣側終端完成。
下一步，就是實現完全的分散式AI，即轉向
終端側學習
的工作方式。這一點至關重要，正如我前面提到的，我們已經開始用AI模仿一些自然行為。
現在AI像人類一樣具備一定的推理能力，能夠區分圖片中的面板、毛髮、織物或布料，接下來我們還會持續提升推理能力，讓終端更加智慧。
但問題是，我們如今已能做到一定程度的終端側學習，這能帶來什麼收益呢？
目前典型的模型訓練方式，通常是基於一定數量的資料進行訓練。但終端側的實際測試資料，卻可能讓模型的訓練效果發生重大變化。這就是終端側學習能保持甚至提升精準度的原因，同時也能提升模型的泛化能力。
這也能讓使用者的終端體驗變得更加個性化，遠超當前終端側所能實現的能力，而這正是我們在努力的方向，高通正在採取不同的方式實現這一點。
我們的研究團隊關注了很多不同的研究方向，包括小樣本學習、無監督持續學習、聯邦學習和低複雜度的終端側訓練，我會對其中的部分研究方向進行介紹。
基於此大家可以看出，我們已經進入了第二階段，在邊緣進行終端側學習時，需要做到極低的功耗。
以關鍵詞識別為例，利用
小樣本學習
就可以實現大幅提升，甚至在現實情況下，能讓AI做到看完某一人的筆跡或者書面文字後，快速進行辨認。
我們也能做到在使用者錄入資料時進行區域性模型適應，憑藉非常少量的樣本資料和出色的資料標記能力，大幅提升關鍵詞識別的表現。
舉例來說，當遇到說話有特定口音的使用者時，針對異常值資料檢測，藉助小樣本學習讓關鍵詞檢測演算法的檢測率提升30%左右，讓這個模型真正做到靈活運用。
我們探索的另一條路徑是
聯邦學習
。雲端建立的模型被下發到邊緣側終端後，基於一定程度的離線學習，邊緣側終端就可以根據消費者實際情況調整模型。
同時，由於終端側學習的過程會產生噪聲，所以還能將之回傳雲端並進一步提升模型泛化能力。
舉例來說，如果一輛汽車不斷在多個不同國家、不同路況行駛，雲端模型就可以持續進行適應，假以時日模型經過最佳化，就能夠打造更優秀的自動駕駛汽車模型，這是我們透過打造平臺，支援終端側聯邦學習的又一範例。
沒錯，包括出色的推理、機器學習或者INT4等能力在內，這些技術對於汽車同樣大有用武之地。
汽車是一個充滿挑戰的獨特領域，它的系統必須能夠分辨人類和障礙物、並做到高精準度，否則後果將是災難性的，這也恰好是AI技術的體現。
藉助出色的5G能力，我們就能以超低時延將資料傳輸到終端，大幅提升安全性。
另一個AI落地的關鍵領域是元宇宙。
例如，用AR眼鏡與周圍世界互動時，要實現雙手互動功能，就需要用到AI手勢檢測技術；同時，AR給平面上放置虛擬物體的功能，也需要將AI應用其中……還有不少地方也都會用到AI。
整體而言，我們非常高興能夠跨所有業務線，憑藉業界領先的軟硬體結合能力，以及高通AI軟體棧和Qualcomm AI Studio，引領市場向著充分利用智慧網聯邊緣的方向發展。
我堅信，目前我們所利用的終端側AI能力只是冰山一角。
未來，終端側AI需求還會變得越來越多，我們十分期待能夠沿著這個方向繼續推進，讓智慧網聯邊緣成為現實。
— 完 —
量子位 QbitAI · 頭條號簽約
