「科技之光」AI修復:讓老舊照片“復活”

湖南日報·華聲線上記者 周陽樂

通訊員 李詩田

引子

6月30日,“AI修復讓李大釗陳延年們露出微笑”話題登上了熱搜。網友們一邊感嘆看到了真實的革命先輩,一邊對AI修復技術感到好奇,到底採用了什麼辦法讓黑白照片變成彩色、動態的呢?

隨著各種圖片和影片的編輯軟體越來越多,我們想當然地以為影像修復是一很容易操作的事情,只要把資料拖拽到一個對話方塊內,就能實現一鍵最佳化。其實,專業的影像修復是個AI計算的大工程。

影像修復採用的主要技術是AI影象超解析度技術,即輸入低解析度(黑白)影象,AI演算法透過學習,能夠對輸入影象中的高解析度細節進行高質量地重建。

這個工作量是什麼概念?如果說要把一張普通高畫質圖片提升到4K高畫質,就需要額外填充600萬個畫素。不僅如此,還需要弄清楚如何顯示這些額外的畫素,這就是AI影象超解析度演算法的用武之地,它能基於影象的特徵來估計影象中的高解析度細節。

然而,這個過程並非一蹴而就,AI修復照片透過一種叫做生成對抗網路的深度學習技術來完成,這其中暗藏著反覆地對抗和博弈。生成對抗網路是什麼?又是誰與誰在對抗?

生成對抗網路的主要結構包括生成器和判別器,我們可以把生成器比作一個造假團伙,而判別器則是一名鑑定師。

“鑑定師”自然見多識廣,提前對很多圖片中常見場景與人物進行記憶、學習與分析,記憶這些關鍵元素的顏色,如天空、人臉、衣服、建築物等。

“造假團伙”製作的贗品被送至“鑑定師”處鑑定,“鑑定師”一眼發現瑕疵便判定為贗品。“造假團伙”不放棄,改進瑕疵製作二代產品。由此往復,“造假團伙”不斷提升自身水平以達到讓贗品以假亂真的效果,同時“鑑定師”的鑑定能力也不斷提高。這樣一來,在生成器和判別器的反覆較量中,圖片的真實性就越來越高了。

除了填補畫素,AI修復技術還能實現著色、補幀等效果。

同樣是利用深度神經網路學習,AI可以對不同語義內容在不同灰度下對應的色彩資訊分佈進行分析,進而可正確判斷出樹木是綠色、砂石是棕色以及路人衣服的顏色。為了讓畫面“動”起來,AI利用生成對抗網路在關鍵幀之間進行“想像”,產生自然真實的動態幀,並把這些“想像”出來的幀插進去,使之達到每秒60幀的速率,不出現影片卡頓等現象。

這次讓李大釗、陳延年等革命先輩在建黨百年的重要時刻重展笑顏,就是靈活運用了多項AI專案。修復過程中,首先將模糊的面部變為高畫質並轉成彩色,並根據史料透過手繪精修使人物笑起來,再補幀讓照片中人物的動作更為流暢,最後做出還原面板質感的效果。

(科學指導:湖南師範大學智慧計算與語言資訊處理湖南省重點實驗室副教授 江沸菠)