貴州易鯨捷攻克業界最棘手難題,拿下分散式資料庫關鍵技術專利

作為貴州貴陽本地成長起來的標杆企業,貴州易鯨捷資訊科技有限公司日前從美國商務專利局獲得了“混合樂觀鎖和悲觀鎖的資料庫事務併發控制”發明專利證書。這項技術攻克了全球分散式資料庫領域最難解決的業內難題之一,即分散式資料庫最棘手的多使用者併發訪問衝突問題。

貴州易鯨捷攻克業界最棘手難題,拿下分散式資料庫關鍵技術專利

貴州易鯨捷攻克業界最棘手難題,拿下分散式資料庫關鍵技術專利

圖為貴州易鯨捷獲取的美國專利。

據悉,易鯨捷自2015年成立就邁入分散式資料庫“新賽道”,成為全球最早推出下一代融合型(HTAP)分散式資料庫的企業。依託貴州、貴陽發展大資料產業的天然沃土和優勢,易鯨捷成長為了一家技術突出的國產資料庫廠商。

現有資料庫技術中,悲觀鎖和樂觀鎖是互斥的兩種併發控制技術,採用了悲觀鎖實現的資料庫,便不能同時使用樂觀鎖機制,反之亦然。而此次貴州易鯨捷獲得的這項專利,是基於樂觀鎖機制,融合了悲觀鎖功能,很大程度上解決了各種場景下併發控制的效能問題。

在國際廠商把控全球資料庫市場份額的當下,貴州易鯨捷等擁有自主可控核心技術的國內資料庫廠商,透過佈局分散式資料庫的新賽道努力追趕,打通了我國關鍵行業分散式資料庫技術的最後一公里。

攻克重大技術難題

資料庫技術誕生於上世紀60年代,與中介軟體、作業系統並稱為全球三大基礎軟體技術。起初的資料庫技術是以垂直擴充套件為理念進行設計的集中式資料庫,而在集中式資料庫技術上,我國起步相對較晚,一直處於追趕狀態,目前仍與國外頂級廠商存在巨大差距。

不過,在過去十多年網際網路和雲計算的共同推動下,分散式技術得到了長足發展,為新一代分散式資料庫的發展提供了新的技術和應用場景支撐,而分散式資料庫作為未來資料庫技術發展的主賽道初露端倪。目前我國已湧現出一批極具研發實力的分散式資料庫廠商,而以貴州易鯨捷為代表的頭部廠商此次沒有輸在“起跑線”上。

雖然貴州易鯨捷成立的時間不長,但其核心研發團隊卻擁有30餘年的技術沉澱與傳承,並在金融資料庫核心業務領域打造出了“易鯨捷模式”,上述發明專利便是貴州易鯨捷在銀行核心交易系統專案中不斷實踐與積累所獲得的重大技術突破。

具體來看,在資料庫中,當多個使用者/程序/執行緒同時進行操作,要保證事務的一致性、隔離性,以及最大程度的併發是資料庫開發者常常要考慮的難題,如果併發控制不善,將會導致資料的髒讀(讀到未提交的資料)、幻讀,甚至造成資料更新丟失的情況。

據貴州易鯨捷銀行專案研發負責人介紹,樂觀鎖併發控制(即OCC,全稱Optimistic Concurrency Control)是一種解決寫寫衝突的無鎖併發控制技術,主要適用於低資料爭用的環境。但銀行核心業務是一種典型的高併發OLTP場景,根據銀行體量不同,TPS高峰期會在幾百幾千甚至更高級別。這意味著,在同一個時刻,銀行某個賬戶大機率會出現被多個併發同時訪問或更改,而銀行核心業務場景對交易的成功率一般要求為99。99%乃至更高,即一萬筆交易中只允許失敗一筆。

該研發負責人進一步表示,在樂觀鎖併發控制模式下,由於衝突是在事務提交時檢查,如果檢查到失敗事務即報錯,這雖然保證了事務的一致性,但會導致交易失敗率增加。因此,貴州易鯨捷針對銀行核心業務打造的QianBase資料庫,在支援OCC的基礎上,又增加了“悲觀鎖”併發控制技術。在“悲觀鎖”併發控制模式下,發生衝突的修改會進行等待,直到另一個事務提交成功,被等待的修改隨之也會繼續執行,這大大增加了銀行核心業務的交易成功率。

目前,貴州易鯨捷QianBase系列資料庫可同時支援樂觀鎖與悲觀鎖兩種併發訪問控制技術,適用於不同的業務場景,而這項技術已在貴陽銀行沙箱專案與貴陽農商銀行雙庫並行專案中獲得應用。

貴州易鯨捷CEO武新表示,對易鯨捷此次獲得的分散式資料庫核心技術美國專利,用悲觀鎖與樂觀鎖混合模式,優雅的解決了分散式資料庫最棘手的多使用者併發訪問衝突問題,這是全球分散式資料庫領域最難解決的業內難題之一,為支援複雜業務場景下的長事務併發奠定了基礎,這也是分散式資料庫能夠透明支撐核心交易系統的關鍵技術之一。

據瞭解,除此次從美國商標專利局獲取的這項發明專利外,貴州易鯨捷目前還有多個國內外專利在申請過程中,其中覆蓋了資料庫產品的計算層、連線層和分散式事務管理等模組/元件。

聚焦銀行核心業務

在當前全球資料庫市場中,以微軟、亞馬遜、Oracle等為首的國際廠商處於壟斷地位。Gartner資料顯示,2021年此三家資料庫巨頭分別佔有24%、23。9%和20。6%的市場份額。在國內市場中,近年來,我國多家金融機構單一來源均採購的是國外資料庫廠商產品。

資料庫行業專業人士表示,目前國內金融行業核心交易系統資料庫採用Oracle產品和IBM小型機的比例在80%以上,而基於國內資料庫的銀行核心交易系統數量還不足10家,尚處於探索階段。

貴陽銀行與貴陽農商銀行便是首批“嚐鮮”的企業,其核心交易系統試點專案均由貴州易鯨捷研發。截至目前,貴州易鯨捷已將首創的雙庫並行技術應用到了貴陽農商銀行專案中,使得銀行前端的櫃面交易、支付平臺,以及核心交易的完整核心系統,均可並行在易鯨捷資料庫與Oracle之上,互為災備且秒級互相切換,真正做到了保障國家資訊保安與銀行業務安全。

此外,貴陽銀行核心交易系統沙箱專案從2020年4月1日上線至2021年3月專案成功結項,始終保持穩定執行,交易成功率在99。999%以上,準確率達到100%。在此基礎上,貴陽銀行啟動了全新一代全棧國產銀行核心業務系統建設,採用易鯨捷新一代雲原生分散式資料庫QianBase作為底層技術支撐,透過系統調優,易鯨捷資料庫已完成與國產IT底座(華為鯤鵬、飛騰、長城、麒麟、東方通等)的深度適配和最佳化,系統各項指標在國產IT底座上已達到國內領先水平。

不僅如此,貴州易鯨捷公司還聚攏了一批國內優秀的資料庫領域技術專家,實現了團隊研發能力的快速提升,在產品架構設計和程式碼實現上形成了一支具有強勁實力的團隊。

武新表示,在過去的30年裡,資料庫技術和市場已形成了高度壟斷,而云化、分散式架構是打破“舊世界”的突破口。未來資料庫比拼的是綜合實力,主要包括產品能力、真實場景打磨和從傳統IOE架構平滑遷移到分散式架構的方法和路徑,以及類似金融核心系統的端到端的全棧國產化解決方案。目前貴州易鯨捷在金融領域打造的“易鯨捷模式”,可以幫助各類金融機構大大降低試錯成本,具有重大標杆意義和推廣價值。