曾遭受DDoS攻擊、宕機之擾，友誼時光出海路上趟過哪些IT運維的坑
提到女性向遊戲公司，許多人會想到友誼時光。作為女性向遊戲第一股，友誼時光旗下擁有《熹妃傳》、《熹妃Q傳》、《浮生為卿歌》、《凌雲諾》等熱門產品，且產品影響力輻射到境外多個市場。
財報顯示，2021年全年，友誼時光海外收入約為4。85億，佔整體收入的30%。這份亮眼成績單的一大“功臣”是《浮生為卿歌》。2021年，該遊戲在境外市場表現良好，在中國港澳臺市場最高曾獲得iOS遊戲暢銷榜第4、第1和第9的成績，在韓國市場最高獲得iOS遊戲暢銷榜第13名的成績。
《浮生為卿歌》韓語版宣傳圖，圖源：網路
友誼時光境外表現優異背後，不僅得益於其優秀的產品和運營，還跟他們在
2021年的一項業務決策息息相關——將海外發行的遊戲從本地機房遷移到海外公有云。
這一決定，解決了一直困擾他們的IT運維難題。
近日，在Google Cloud官網上發表的一篇文章中，友誼時光運維總監熊浩分享了關於他們在海外發行中遭遇的IT運維問題以及解決方案，其內容詳實，可為出海廠商提供一定的經驗參考。
出海十年，友誼時光曾遭受IT運維問題之擾
友誼時光稱得上是一家出海老牌公司。成立於2010年的它，在2012年開始嘗試出海。或許跟許多出海廠商一樣，他們一開始選擇和本地運營商合作，將遊戲部署在本地機房的伺服器上，但隨著時間的推移，問題逐漸顯現，並發展到嚴重影響他們業務的地步。總結來看，他們共面臨三大難題：
一、遭受DDoS攻擊，曾因攻擊造成部分遊戲服影響了數小時。
網路攻擊是遊戲行業乃至網際網路行業的一大難題。其中，遊戲行業是DDoS攻擊的重災區，而新遊釋出時，正處於流量高峰，更是多發期。據熊浩透露，此前他們在中國臺灣發行的遊戲經常遭遇DDoS攻擊，在2018年一款遊戲就因為DDoS攻擊造成了幾個遊戲服數小時的中斷，重要的登入充值服務也斷斷續續受到波及，嚴重損害了玩家的使用者體驗。
事後熊浩總結道：“當前的DDoS攻擊型別多樣，海外的攻擊流量雖然小於國內，但對當地來說依然很大。一般我們會選擇主流的幾家出海的公有云廠商進行防護，但在海外有很多的小運營商是不具備封堵的能力，而大的運營商出現封堵故障時，解決的時間又不可控；這就造成了防護的效果抓大放小，有部分的使用者會受到影響；而我們使用的是當地的機房，在頻寬有限，缺乏安全機制保障的情況下，防護方案變得形同虛設；最佳的防範方案是將業務部署在Google Cloud 上，藉助GCP全球網路的能力既做到高質量的訪問，又能防禦UDP等非法請求，當攻擊流量非常大時再借助專業防護廠商的能力保障業務安全。”
二、極端情況甚至兩到三次宕機，解決耗時近1小時。
面對愈發高昂的獲客成本，如何留住玩家、避免玩家流失，變得尤為重要，但行業裡時常會發生一些勸退玩家的事件，比如不符合預期的內容更新、不合理的運營活動或者是頻繁宕機等等。
由於伺服器硬體故障和裝置老化等原因，友誼時光最初用來部署在中國臺灣和新加坡發行遊戲的本地機房伺服器，極端情況甚至兩到三次宕機，造成遊戲服務中斷。熊浩直言：“頻繁宕機是一個很嚴重的問題。”
不僅頻繁宕機，且處理時間長。修復故障、完成質檢驗收並重啟服務，友誼時光的運維團隊通常需要耗費將近一個小時的時間。“玩家幾乎不可能接受這麼長的等待時間”，熊浩表示。
三、網路連線不穩定，使用者無法登入遊戲賬戶或下載完整的更新資料。
網路遊戲成為當今的主流遊戲，加之競技元素在各大遊戲中盛行，玩家對網路的快速進入和穩定暢玩，也有了更高的要求。
對於友誼時光而言，由於剛開始他們使用中國香港節點IDC機房為海外各個國家/地區使用者提供賬戶和更新服務，因此當海外使用者想要管理賬戶或下載遊戲更新時，資料需要透過本地網路傳送到香港的伺服器。資料傳輸距離很長，不同地區的網路質量也參差不齊，經常出現連線緩慢或錯誤的情況。而且一旦發生連線中斷，使用者就無法登入遊戲賬戶或下載完整的更新資料，嚴重影響使用者的遊戲體驗。
出海正當時，大家都在關注產品研發、營銷打法，而往往會忽略保障玩家遊戲體驗的IT運維。那該如何做好部署呢？友誼時光的解決方案，或許可以給行業一些參考。
圖源：友誼時光官網
一項業務決策，讓友誼時光的海外IT運維工作變得“得心應手”
根據Google Cloud菁英合作伙伴MeshCloud脈時雲針對系統架構提供的技術建議，友誼時光將在中國臺灣和新加坡發行的四款遊戲，以及其為海外使用者提供的賬戶和更新服務，成功地遷移到Google Cloud上。
“為了解決服務中斷的問題，並提升運維效率，我們需要將在海外發行的遊戲遷移到具備高效能的計算資源，以及強大全球網路的雲基礎架構上。”熊浩解釋，“Google Cloud符合我們的所有需求。”
友誼時光產品遷移到谷歌雲上的架構圖
對於遷移至Google Cloud後的成果，可用一個詞來總結，即“降本增效”，真正幫友誼時光做到了提高效率的同時降低了成本。
具體如何增效？可以分為三個方面：
其一、兩年來未曾遭遇因網路攻擊引起的服務中斷。
這主要得益於Google Cloud的產品——Cloud Load Balancing和Cloud Armor，能有效預防網路攻擊。遷移至Google Cloud後，友誼時光使用Cloud Armor偵測DDoS攻擊，過濾可疑的存取請求，同時使用Cloud Load Balancing在伺服器之間分配流量，降低DDoS攻擊的影響。
此前，友誼時光的遊戲伺服器每天會收到至少一個惡意存取請求，但遷移到Google Cloud後，只有少數駭客送出的存取請求能接觸到友誼時光的伺服器，友誼時光的遊戲服務也未曾因DDoS攻擊而中斷。
其二、故障頻率大幅降低，恢復故障耗時短。
遷移到Google Cloud後，友誼時光使用Compute Engine上的虛擬機器作為海外遊戲伺服器。Compute Engine的高效能虛擬機器極大地提高了裝置的穩定性，即使遇到故障，也能在極短的時間內恢復。
遷移到Google Cloud之後，友誼時光在Compute Engine上的虛擬機器從未出現過技術問題，因而提升了其遊戲的可用性和使用者體驗。按照熊浩的說法，Compute Engine的高效能虛擬機器大幅降低了故障頻率，恢復故障所需的時間也很短，有效地協助友誼時光提供更可靠的服務。
其三、網路穩定性從低於99%提高到99.99%，網路連線更快、更穩。
Google Cloud全球網路支援的Cloud Load Balancing和Cloud CDN為友誼時光提供賬戶管理和傳送遊戲更新服務。由於資料可以透過Google Cloud的內網傳輸，Cloud Load Balancing和Cloud CDN又使用單一anycast IP，從離終端使用者最近的伺服器分發內容，友誼時光的內容分發速度有了顯著提升，資料傳輸錯誤的情況也不再出現。
因為Cloud Load Balancing和Cloud CDN保證內容分發的高速度和高可靠性，所以現在友誼時光的遊戲體驗不會因為檔案傳送效率而受到影響。“整體而言，我們遊戲服務的網路穩定性從低於99%提高到99。99%。”熊浩說。
增效顯著，降本方面也不遜色。
首先，高效能虛擬機器幫助友誼時光降低了20%的運維成本。
之前選擇地域的IDC，當遊戲上線快速增長時，無法合理的評估伺服器規模和頻寬，成本不可控；而且伺服器採購和上線流程繁雜，週期特別長，無法滿足新遊推廣的需求。友誼時光在國內發行服務部署上雲已運作多年，但在中國臺灣地區，能在成本和效能上都兼顧，且滿足多方位業務訴求的公有云廠商並不多。
Google Cloud 的管理後臺提供每個虛擬機器利用率的詳細資訊，同時會提出關於如何以更具成本效益方式使用虛擬機器的建議，方便合作伙伴最佳化虛擬機器的利用率。另外對於網路資料的上傳，Google Cloud 是完全免費的，這極大的降低了網路頻寬運營成本，因此遷移後友誼時光整體基礎設施的成本降低了20%。
另外，預警機制有效幫助友誼時光有效節省了人力成本和時間。
為了確保雲基礎架構的高效能表現，友誼時光使用Cloud Monitoring來偵測錯誤並高效除錯。熊浩指出，Cloud Monitoring提供流量來源、流量在遊戲伺服器間的分發路徑等詳細系統執行資訊，讓友誼時光的團隊得以建立不同維度的告警機制。以前，他們需要一到兩位程式設計師隨時監控他們自建的告警系統，而且因為他們沒有所有的系統運營資訊，導致錯誤出現時有時候無法及時反應。而現在友誼時光的程式設計師只需在收到告警的時候再檢視系統，且能快速除錯。
在取得這些成果後，
接下來，友誼時光計劃與MeshCloud脈時雲深入交流，使用資料分析等更多Google Cloud產品來進一步最佳化遊戲體驗。
比如，友誼時光計劃將自建的遊戲資料庫遷移到Cloud SQL上，並將Cloud SQL與BigQuery連線，分析與廣告和使用者行為相關的資料。和從頭開始搭建資料分析平臺相比，BigQuery的成本更低，友誼時光能夠以更經濟的成本結構大規模分析資料，改善遊戲服務的質量。
再比如，友誼時光將把即將在2022年底在一些海外地區推出的新遊戲部署在Google Cloud上。
結語
IT運維非小事。遊戲廠商佈局出海業務需要具備全球化IT運維部署思維，與優質的合作伙伴合作亦為重要。在友誼時光與Google Cloud合作案例中，MeshCloud脈時雲協助友誼時光制定「遷移專案實施路線圖」並完成遷移部署，扮演著重要角色。
MeshCloud脈時雲，是領先的出海雲服務商，同時也是Google Cloud Premier 級別合作伙伴，向中國出海企業提供雲解決方案。憑藉一整套產品化、智慧化的運維服務工具，7*24小時的線上和線下服務體系，一批具備豐富的 Goolge Cloud 部署和實施經驗的雲架構師保駕護航，MeshCloud脈時雲協助出海企業客戶提升業務靈活性，並有效降低用雲成本，保障業務發展中 IT 支出的財務指標健康度。
圖源：MeshCloud脈時雲官網
