8月7日晚，針對“前沿數(shù)控”數(shù)據(jù)完整性受損一事，騰訊云方面發(fā)出了文章，對事故本身從技術(shù)的角度進行了復(fù)盤，還原了數(shù)據(jù)未丟失始末。

文章中表示，該故障緣起于因磁盤靜默錯誤導(dǎo)致的單副本數(shù)據(jù)錯誤，再加上數(shù)據(jù)遷移過程中的兩次不規(guī)范的操作，導(dǎo)致云盤的三副本安全機制失效，并最終導(dǎo)致客戶數(shù)據(jù)完整性受損。

對此，騰訊云強調(diào)，其自2016年3月以來一直在提供免費的快照功能，可以對重要數(shù)據(jù)進行定期備份。同時出于對客戶數(shù)據(jù)隱私性和安全性的考慮，客戶可以自由選擇開啟或者不開啟這一免費功能。騰訊云呼吁客戶開啟這一功能，進一步提升自身數(shù)據(jù)的安全性。

界面新聞在昨日的報道中提到，7月20日20點左右，前沿數(shù)控方面發(fā)現(xiàn)，部署在騰訊云上的公司網(wǎng)站、小程序、H5突然打不開；到7月22日，騰訊云方面向前沿數(shù)控確認，丟失的數(shù)據(jù)已經(jīng)找不回來。

為此，前沿數(shù)控方面對騰訊云提出了高達11016000元的索賠要求，并在后續(xù)溝通中提出希望以獲得騰訊投資、騰訊官方引流等方式得到補償。

騰訊方面給出的補償措施是，補償責(zé)任總額不超過騰訊云公司就違約服務(wù)收取的服務(wù)費用總額，另外提供13.29萬元現(xiàn)金作為額外補償。

類似的不規(guī)范操作導(dǎo)致的云端數(shù)據(jù)損壞事件，此前也曾發(fā)生在其他云服務(wù)提供商身上。今年6月27日，有用戶反饋稱，阿里云出現(xiàn)故障，MQ、NAS、OSS等產(chǎn)品的部分功能出現(xiàn)訪問異常。

阿里云在6月28日凌晨給出了故障復(fù)盤，原因是6月27日下午，工程師團隊在上線一個自動化運維新功能中，執(zhí)行了一項變更驗證操作。這一功能在測試環(huán)境驗證中并未發(fā)生問題，上線到自動化運維系統(tǒng)后，觸發(fā)了一個未知代碼bug。錯誤代碼禁用了部分內(nèi)部IP，導(dǎo)致部分產(chǎn)品訪問鏈路不通。后續(xù)人工介入后，工程師團隊快速定位問題進行了恢復(fù)。

這一系列事件的發(fā)生，實際上意味著用戶在關(guān)注服務(wù)提供商技術(shù)質(zhì)量的同時，也需要提高自身的防患意識。一名大型云計算廠商的技術(shù)專家表示，云廠商提供給用戶的，并不是一個一定不會出問題的服務(wù)；而是可以低成本、快速地搭建一個服務(wù)冗余、一定容災(zāi)的架構(gòu)的能力。

“用戶并不能認為云廠商會提供100%的可用性，也需要對服務(wù)做好充分的自我防護。”這名人士說道。

以下是騰訊云故障復(fù)盤的部分內(nèi)容：

故障過程復(fù)盤

當(dāng)天上午11:57，我們的運維人員收到倉庫Ⅰ空間使用率過高告警，準(zhǔn)備發(fā)起搬遷擴容；在14:05時，運維人員從倉庫Ⅰ選擇了一批云盤搬遷至新倉庫Ⅱ，為了加速搬遷，手動關(guān)閉了遷移過程中的數(shù)據(jù)校驗；在20:27 搬遷完成之后，運維人員將客戶的云盤訪問切至倉庫Ⅱ，同時為了釋放空間，對倉庫Ⅰ中的源數(shù)據(jù)發(fā)起了回收操作；到20:30 監(jiān)控發(fā)現(xiàn)倉庫Ⅱ部分云盤出現(xiàn)IO異常。

故障原因復(fù)盤

本次事故起源自因磁盤靜默錯誤導(dǎo)致的單副本數(shù)據(jù)錯誤，再由于數(shù)據(jù)遷移過程中的不規(guī)范操作，導(dǎo)致異常數(shù)據(jù)擴散至三副本，進而導(dǎo)致客戶數(shù)據(jù)完整性受損。

數(shù)據(jù)搬遷過程中的違規(guī)操作主要如下兩點：

第一是正常數(shù)據(jù)搬遷流程默認開啟數(shù)據(jù)校驗，開啟之后可以有效發(fā)現(xiàn)并規(guī)避源端數(shù)據(jù)異常，保障搬遷數(shù)據(jù)正確性，但是運維人員為了加速完成搬遷任務(wù)，違規(guī)關(guān)閉了數(shù)據(jù)校驗；

第二是正常數(shù)據(jù)搬遷完成之后，源倉庫數(shù)據(jù)應(yīng)保留24小時，用于搬遷異常情況下的數(shù)據(jù)恢復(fù)，但是運維人員為了盡快降低倉庫使用率，違規(guī)對源倉庫進行了數(shù)據(jù)回收。

因這些錯誤操作的連續(xù)影響，導(dǎo)致該客戶數(shù)據(jù)完整性受損，給客戶的正常業(yè)務(wù)運行造成影響，騰訊云對此再次表示最誠懇的歉意。

改進措施

經(jīng)過技術(shù)復(fù)盤，騰訊云技術(shù)團隊深入到每個環(huán)節(jié)，通過責(zé)任到人與流程閉環(huán)的雙管齊下，相應(yīng)作出如下的加強和改進措施：

首先，我們將全面審視所有的數(shù)據(jù)流程，涉及數(shù)據(jù)安全的流程自動化閉環(huán)，進一步提升我們常規(guī)運維自動化和流程化，降低人工干預(yù)。同時把全流程的數(shù)據(jù)安全校驗作為系統(tǒng)的常開功能，不允許被關(guān)閉。

其次，針對物理硬盤靜默數(shù)據(jù)錯誤，在當(dāng)前用戶訪問路徑數(shù)據(jù)校驗自愈的基礎(chǔ)上，我們優(yōu)化現(xiàn)有巡檢機制，通過優(yōu)先巡檢主副本數(shù)據(jù)塊、跳過近期用戶訪問過的正確數(shù)據(jù)塊等方法，加速發(fā)現(xiàn)該類錯誤，進行數(shù)據(jù)修復(fù)。

進一步建議

騰訊云自2016年3月以來一直在提供免費的快照功能，可以對重要數(shù)據(jù)進行定期備份。同時出于對客戶數(shù)據(jù)隱私性和安全性的考慮，客戶可以自由選擇開啟或者不開啟這一免費功能。騰訊云在這里也呼吁客戶開啟這一功能，進一步提升自身數(shù)據(jù)的安全性。

未來，本著對客戶數(shù)據(jù)最大的敬畏，騰訊云將繼續(xù)探索更科學(xué)的機制，避免類似事件再次發(fā)生。