Google dezvaluie cum au sters din greseala un cont de client cloud in valoare de 135 de miliarde de dolari

Unul dintre cele mai mari coșmaruri ale Google Cloud a devenit realitate la începutul lunii mai, când o eroare jenantă a șters complet contul unui client și backup-urile de date. Victima nefericită a fost fondul de pensii australian UniSuper, care gestionează active în valoare de 135 de miliarde de dolari pentru peste 600.000 de membri. Fondul de pensii a fost practic paralizat timp de două săptămâni, incapabil să funcționeze complet în timp ce încerca să se recupereze din backup-urile terțe.

Incidentul a început pe 2 mai, când UniSuper a pierdut brusc accesul la toate datele și serviciile sale găzduite pe Google Cloud, inclusiv backup-urile. La scurt timp după, o declarație comună a celor două companii a admis că o „configurare greșită neintenționată” a dus la ștergere, dar detaliile erau puține. UniSuper a reușit să revină online abia pe 15 mai, după finalizarea unei restaurări complete.

În această săptămână, Google a detaliat exact ce a mers prost. Cineva din companie a lăsat accidental un parametru necompletat în timpul provisionării serviciilor cloud private ale UniSuper folosind un instrument intern. Această mică greșeală a avut consecința catastrofală de a marca contul UniSuper pentru ștergere automată după un termen fixat.

Google a oferit un rezumat al incidentului:

„În timpul implementării inițiale a unui Google Cloud VMware Engine (GCVE) Private Cloud pentru client folosind un instrument intern, a avut loc o configurare greșită neintenționată a serviciului GCVE de către operatorii Google, din cauza lăsării unui parametru necompletat. Aceasta a avut consecința nedorită și necunoscută de a seta GCVE Private Cloud al clientului la un termen fix, cu ștergere automată la sfârșitul acelei perioade. Declanșatorul incidentului și comportamentul sistemului au fost corectate pentru a se asigura că acest lucru nu se poate întâmpla din nou.”

După eroare, Google notează că „echipele clientului și cele ale Google au lucrat 24 de ore din 24 timp de câteva zile pentru a recupera GCVE Private Cloud al clientului, a restaura configurațiile de rețea și securitate, a restaura aplicațiile și a recupera datele pentru a restabili operațiunile complete.”

Google a admis, de asemenea, că nu a fost declanșată nicio „notificare pentru client” deoarece aceasta a fost o ștergere neintenționată realizată prin instrumentele interne ale Google. Întregul incident trebuie să fi fost un șoc pentru UniSuper.

Cu toate acestea, au existat informații contradictorii cu privire la faptul dacă backup-urile UniSuper stocate în Google Cloud Storage au fost sau nu șterse, așa cum subliniază Ars Technica. Inițial, UniSuper a susținut că a trebuit să se bazeze pe backup-uri terțe deoarece backup-urile sale Google au dispărut și ele. Dar blogul Google afirmă că backup-urile cloud nu au fost afectate și au fost „instrumentale” în restaurare.

În meritul lor, Google a promis pași largi de „remediere” pentru a se asigura că acest lucru nu se mai poate întâmpla. Au eliminat instrumentul intern problematic și au mutat acea funcționalitate la interfețe controlate de client. De asemenea, au verificat bazele lor de date și au confirmat că niciun alt cont Google Cloud nu este configurat incorect pentru ștergere.

Compania a reiterat că există măsuri de siguranță robuste pentru ștergere, inclusiv ștergeri temporare, notificări avansate și verificări de aprobare umană.

Este cu siguranță un eveniment alarmant pentru milioane de clienți cloud, dar Google a subliniat că acesta a fost un „incident izolat” care a afectat un singur client. Ei insistă că nu există probleme sistemice care să pună alți clienți Google Cloud în pericol de evaporare spontană a datelor.