“我們幸免于這次‘天災(zāi)’，卻不料一場‘人禍’讓我們處于無比艱難的境地。”2月27日，微盟創(chuàng)始人孫濤勇說出這句話時(shí)，微盟正面臨公司歷史上最大的危機(jī)。

2月25日，微盟在港交所發(fā)布一則自愿性公告，對(duì)外公布2月23日19點(diǎn)以后公司SaaS業(yè)務(wù)生產(chǎn)環(huán)境和數(shù)據(jù)遭到破壞的消息；2月28日，微盟恢復(fù)了所有的SaaS業(yè)務(wù)生產(chǎn)環(huán)境，但沒有找回全部的備份數(shù)據(jù)，而是僅恢復(fù)了微站產(chǎn)品的備份數(shù)據(jù)；3月1日20點(diǎn)，數(shù)據(jù)才全部找回。

如果這部分?jǐn)?shù)據(jù)無法找回，那對(duì)微盟的影響將難以想象。2013年創(chuàng)立的微盟，于2019年1月登陸港交所，根據(jù)其2019年中期財(cái)報(bào)，SaaS業(yè)務(wù)的收入占微盟總收入33.4%，毛利潤占比48.5%。

事實(shí)上，微盟此次遇到的并非員工誤操作導(dǎo)致的數(shù)據(jù)丟失，而是一次人為惡意破壞。此前，有位多業(yè)內(nèi)人士向記者表示，這種情況下想完全恢復(fù)如此大規(guī)模的數(shù)據(jù)，幾乎是不可能的事情，但微盟很幸運(yùn)。從數(shù)據(jù)丟失到數(shù)據(jù)找回，微盟經(jīng)歷了驚魂168小時(shí)。

數(shù)據(jù)消失

2月23日下午6點(diǎn)多，微盟服務(wù)器發(fā)出故障報(bào)告，排查后發(fā)現(xiàn)，所有服務(wù)器都處于服務(wù)無法響應(yīng)的狀態(tài)。緊接著，技術(shù)人員重啟了其中一臺(tái)服務(wù)器，結(jié)果發(fā)現(xiàn)系統(tǒng)內(nèi)所有的數(shù)據(jù)都不見了。

“這個(gè)時(shí)候情況已經(jīng)非常緊張，因?yàn)榉?wù)器是大面積出現(xiàn)故障，這可能有兩個(gè)原因，一是被入侵，二是被故意破壞。”騰訊云運(yùn)維中心和客戶服務(wù)部門負(fù)責(zé)人徐勇州表示。

騰訊云隨即安排兩條業(yè)務(wù)線同時(shí)進(jìn)行進(jìn)一步排查，一條線是服務(wù)器團(tuán)隊(duì)，他們繼續(xù)對(duì)服務(wù)器進(jìn)行檢查，最終確定，微盟服務(wù)器上所有文件已全部丟失；另一條線是安全團(tuán)隊(duì)，他們通過與微盟的技術(shù)人員合作，定位到是一個(gè)經(jīng)授權(quán)的賬號(hào)進(jìn)入數(shù)據(jù)庫進(jìn)行了刪除操作。

做技術(shù)工作的人有時(shí)相互開玩笑會(huì)提到“rm -rf /* ”，這是Linux系統(tǒng)下的文件刪除命令，它將刪除包括系統(tǒng)和數(shù)據(jù)在內(nèi)的所有文件，且不可恢復(fù)。

而微盟，正是遭遇了這一黑天鵝事件。據(jù)介紹，微盟除了數(shù)據(jù)庫被刪除外，備份的服務(wù)器也無法登錄，這意味著備份數(shù)據(jù)也被一并刪除。原因是公司一位核心運(yùn)維員工刪除了相關(guān)業(yè)務(wù)數(shù)據(jù)。

數(shù)據(jù)恢復(fù)其實(shí)是一個(gè)非常專業(yè)的領(lǐng)域，正常來說，都是由企業(yè)主導(dǎo)，云廠商作為協(xié)助。但微盟當(dāng)時(shí)已經(jīng)沒有更多辦法，只能依靠騰訊云，而騰訊方面面對(duì)這個(gè)情況，其實(shí)信心也不大。

“數(shù)百T的數(shù)據(jù)，連備份都被刪除了，還想在較短的時(shí)間內(nèi)恢復(fù)，這在過往的歷史上還沒發(fā)生過。我們咨詢了幾家數(shù)據(jù)恢復(fù)公司，他們均表示這種情況能恢復(fù)20%左右的數(shù)據(jù)就非常不錯(cuò)了。”徐勇州坦言。

緊急救援

通常來說，數(shù)據(jù)恢復(fù)工作可以分為三個(gè)階段：第一步，是控制受損面，這是要保證那些有機(jī)會(huì)找回?cái)?shù)據(jù)的服務(wù)器不要再發(fā)生任何問題；第二步，就是通過專業(yè)軟件找回?cái)?shù)據(jù)；第三步，則是公司進(jìn)行數(shù)據(jù)驗(yàn)證、上線聯(lián)調(diào)等操作。

其中，最關(guān)鍵的是前兩步，如果前兩步能順利完成，那數(shù)據(jù)也就順利找回了。這次微盟的數(shù)據(jù)找回工作，也基本是按照這個(gè)流程。

徐勇州表示，按照第一步，他們首先要為源數(shù)據(jù)做鏡像拷貝，以保護(hù)好源數(shù)據(jù)。但通過對(duì)微盟情況的分析，他們覺得無論是傳統(tǒng)的網(wǎng)絡(luò)對(duì)拷還是硬件對(duì)拷，在時(shí)效性和安全性上都無法滿足。

于是，騰訊云團(tuán)隊(duì)做了一個(gè)大膽的決定：越過鏡像拷貝的步驟，將另外一塊系統(tǒng)盤安裝到原有服務(wù)器上，通過新系統(tǒng)盤加載OS和數(shù)據(jù)恢復(fù)軟件，直接對(duì)服務(wù)器進(jìn)行掃描。

“在進(jìn)行操作時(shí)，很多同事無法到達(dá)現(xiàn)場，我們一群人就通過視頻連線，對(duì)前方的每一步操作進(jìn)行確認(rèn)”，徐勇州回憶說，整個(gè)過程非常緊張，因?yàn)檫@是不可逆的過程，做錯(cuò)任何一步，都無法挽回。

好在最后有驚無險(xiǎn)，源數(shù)據(jù)的讀取工作順利完成，接下來的挑戰(zhàn)是數(shù)據(jù)提取。2月26日，騰訊云團(tuán)隊(duì)拿到第一批次數(shù)據(jù)，導(dǎo)入驗(yàn)證后也正常，這讓他們非常興奮，感覺勝利近在咫尺。但他們很快發(fā)現(xiàn)，這些都是截至2月17日的數(shù)據(jù)，即便這份數(shù)據(jù)完整，也仍有一周的數(shù)據(jù)丟失。

整個(gè)團(tuán)隊(duì)的心情隨即再次落入谷底。但事實(shí)上，通過前面的一系列操作，已經(jīng)證明數(shù)據(jù)仍然存在，只不過當(dāng)時(shí)希望找回的是全部數(shù)據(jù)。

于是，騰訊云團(tuán)隊(duì)又重新制定了“打撈”方案。這次，他們決定按照數(shù)據(jù)公司的恢復(fù)方案，對(duì)磁盤的每一“塊（block）”都進(jìn)行掃描，與此同時(shí)，騰訊云團(tuán)隊(duì)還制定了一個(gè)B計(jì)劃，即從服務(wù)器的OS層進(jìn)入打撈數(shù)據(jù)。

“B計(jì)劃是備用方案，它需要海量的嘗試和數(shù)據(jù)驗(yàn)證，非常耗時(shí)。一旦需要采用B計(jì)劃，那微盟的數(shù)據(jù)肯定無法按預(yù)期完成，具體的時(shí)間也難以確定。”徐勇州說。

幸運(yùn)的是，第一臺(tái)服務(wù)器的第一“塊（block）”便掃描成功，拿到的數(shù)據(jù)經(jīng)驗(yàn)證也是完整的，這說明A計(jì)劃可行。只不過，通過這個(gè)方式得到的數(shù)據(jù)大小，都遠(yuǎn)遠(yuǎn)小于微盟核心數(shù)據(jù)的大小，這就像被打亂了的巨大拼圖，想要獲得完整數(shù)據(jù)，需要進(jìn)行拼接。

“數(shù)據(jù)越大，拼接的難度也越大。但好在微盟的備份機(jī)制比較完整，數(shù)據(jù)類型也相對(duì)統(tǒng)一，最后通過一系列技術(shù)手段，終于完成了拼接工作，微盟的數(shù)據(jù)也成功找回?！毙煊轮菡f。

3月2日，微盟發(fā)布公告稱，截至2020年3月1日晚8點(diǎn)，在騰訊云的協(xié)助下，公司備份的數(shù)據(jù)已經(jīng)找回，并將于3月2日凌晨2點(diǎn)至上午8點(diǎn)進(jìn)行數(shù)據(jù)恢復(fù)上線演練，于3月2日晚10點(diǎn)至3月3日上午9點(diǎn)，進(jìn)行數(shù)據(jù)恢復(fù)上線。

3月3日上午，微盟宣布，截至2020年3月3日上午6點(diǎn)，公司的SaaS業(yè)務(wù)數(shù)據(jù)已恢復(fù)上線。

敲響警鐘

數(shù)據(jù)丟失，微盟損失慘重。在2月25日正式披露數(shù)據(jù)丟失后，微盟的股價(jià)連續(xù)三日大幅下跌，從6.18港元一度跌至4.8港元，跌幅超20%。而針對(duì)商家，微盟則準(zhǔn)備了1.5億元的賠付資金，并提供了現(xiàn)金賠付和流量賠付兩種賠付方式。

一位信息安全專家告訴記者，人為因素，現(xiàn)在已經(jīng)是引發(fā)企業(yè)數(shù)據(jù)安全問題的最主要導(dǎo)火索，有些就是員工的一個(gè)誤操作，導(dǎo)致服務(wù)器崩潰或者刪除了核心數(shù)據(jù)庫，另外還有就是像微盟遇到的惡意破壞，這種危害性更大。

針對(duì)這一問題，徐勇州向記者表示，企業(yè)的數(shù)據(jù)安全不能僅依靠哪一項(xiàng)單獨(dú)策略，而是要有一整套完整的體系，且每一個(gè)環(huán)節(jié)都不能有疏忽。相比傳統(tǒng)的數(shù)據(jù)管理，在云上，數(shù)據(jù)的安全將會(huì)得到更多保障。

比如通過云賬號(hào)管理權(quán)限的管控，可以讓企業(yè)對(duì)賬戶下資源的訪問權(quán)限做到粒度可控，比如允許某些子賬號(hào)只擁有某個(gè)COS存儲(chǔ)桶的讀權(quán)限，而另外一個(gè)賬號(hào)擁有該COS存儲(chǔ)對(duì)象的寫權(quán)限等，這樣可以大大降低誤操作或非必要操作引起的數(shù)據(jù)損壞、丟失的風(fēng)險(xiǎn)。