Das war kein schöner Zug, der da „in der Cloud“ passiert ist. Ein australischer Pensionsfonds (UniSuper) hatte ein privates Cloud-Konto/-Abonnement bei Google. Da wurden die Daten von 620.000 Mitgliedern verwaltet, der Pensionsfonds ist wohl 125 Milliarden australische Dollar schwer. Und dann war der Online-Zugang für die Mitglieder plötzlich weg – pulverisiert, aus der Cloud verschwunden, ohne irgend eine Spur zu hinterlassen. Guthabenkonten waren weg, und keiner wusste was. Am Ende des Tages stellt sich heraus, dass ein Konfigurationsfehler in der Google Cloud dazu führte, dass alle Online-Instanzen dieses Abonnements gelöscht worden waren.
Der UniSuper Pensionsfonds
UniSuper ist ein australischer Rentenfonds, der den Beschäftigten des australischen Hochschul- und Forschungssektors Altersversorgungsleistungen anbietet. Der Fonds hatte zum 30. Juni 2023 mehr als 615.000 Mitglieder und verwaltet Mittel in Höhe von 124 Mrd. AUD. UniSuper ist eine gemeinnützige Gesellschaft, deren Anteilseigner 37 australische Universitäten sind und die von einem Treuhänder, UniSuper Limited, verwaltet wird. Alle Universitäten sind im Beratenden Ausschuss vertreten.
UniSuper existiert seit Oktober 2000 nach einer Fusion zwischen dem Superannuation Scheme for Australian Universities (SSAU) und dem Tertiary Education Superannuation Scheme (TESS). Insgesamt ein Schwergewicht bei den australischen Pensionsfonds.
Plötzlich ist das Online-Konto/-Abonnement weg
Mitglieder konnten ihre Pensionsfondskonten von UniSuper online über einen Zugang zur Google Cloud einsehen. Und plötzlich war der Zugang der UniSuper-Mitglieder zu ihren Konten bei diesem Pensionsfonds weg. Waren die gehackt worden oder pleite gegangen? Keiner der Mitglieder wusste Bescheid, es war nur klar, dass kein Zugriff mehr auf das Konto mit ein Einzahlungen mehr möglich war.
Seit vorige Woche Donnerstag (9. Mai 2024) ist der Dienst wieder verfügbar, die Konten sind wieder aufrufbar. Das geht auch aus einem Update vom 13. Mai 2024 hervor. Dort teilt man mit, dass die Online-Dienste sowohl auf der UniSuper-Website als auch in der mobilen App wiederhergestellt worden sind. Die Mitglieder können sich anmelden und ihren Kontostand einsehen, einen Wechsel der Anlageform beantragen, die Anlageergebnisse einsehen, Abhebungen beantragen und vieles mehr. Wir arbeiten noch an der Wiederherstellung der Funktionalität unserer Ruhestandsrechner, die jedoch bald wieder zur Verfügung stehen wird.
Der Rentenfonds gibt gegenüber den Mitgliedern an, dass die Beträge auf den Anlagekonten so bald wie möglich aktualisiert werden würden. Dazu heißt es: Bitte beachten Sie, dass die angezeigten Kontostände möglicherweise nicht die Transaktionen widerspiegeln, die aufgrund unseres jüngsten Systemausfalls noch nicht verarbeitet wurden. Wir bearbeiten die Transaktionen so schnell wie möglich, und es wurden zusätzliche Ressourcen bereitgestellt, um Verzögerungen zu minimieren. Aktuell scheinen wohl Daten der Vorwoche angezeigt zu werden.
Was war passiert?
In einer gemeinsamen Erklärung von UniSuper und Google Cloud wurde die Ursache zum 8. Mai 2024 offen gelegt. Durch eine eine beispiellose Abfolge von Ereignissen und eine versehentliche Fehlkonfiguration während der Bereitstellung der Private-Cloud-Dienste von UniSuper kam es zur Löschung des Private-Cloud-Abonnements von UniSuper. UniSuper hatte zum Schutz vor Ausfällen und Verlusten zwar eine Duplizierung in zwei geografischen Gebieten vorgenommen. Als jedoch das Private Cloud-Abonnement von UniSuper gelöscht wurde, führte dies zur Löschung in beiden Regionen, und ab da war alles weg, was in der Cloud gespeichert war, UniSuper hatten keine Online-Konten mehr.
Dies ist ein isoliertes, einmaliges Ereignis, das noch nie zuvor bei einem Kunden von Google Cloud weltweit aufgetreten ist, heißt es in der Erklärung. Dies hätte nicht passieren dürfen. Google Cloud hat die Ereignisse, die zu dieser Unterbrechung geführt haben, identifiziert und Maßnahmen ergriffen, um sicherzustellen, dass dies nicht noch einmal passiert, schreibt man.
Mühsame Restaurierung der Instanz
Die Wiederherstellung der Private Cloud-Instanz von UniSuper erforderte ein unglaubliches Maß an Konzentration, Aufwand und Partnerschaft zwischen unseren Teams, um eine umfassende Wiederherstellung aller Kernsysteme zu ermöglichen, heißt es in der gemeinsamen Erklärung. Durch die Zusammenarbeit zwischen UniSuper und Google Cloud konnte eine umfassende Wiederherstellung der Private Cloud erreicht werden. Diese Private Cloud umfasste Hunderte von virtuellen Maschinen, Datenbanken und Anwendungen.
UniSuper hatte Backups bei einem zusätzlichen Dienstleister eingerichtet. Diese Backups haben den Datenverlust minimiert und die Fähigkeit von UniSuper und Google Cloud, die Wiederherstellung abzuschließen, erheblich verbessert. UniSuper und Google Cloud hätten rund um die Uhr an einer Lösung gearbeitet, heiß tes. Der schnelle und sichere Abschluss der Wiederherstellung habe für Google Cloud und UniSuper weiterhin oberste Priorität.
Man kann das Ganze auch in einem Satz zusammen fassen: Shit happens. Der Vorfall wirft Fragen nach der Sicherheit der Cloud auf – was wäre passiert, wenn die Backups nicht mehr lesbar gewesen wären. Mitglieder im Pensionsfonds müssen jetzt schauen, ob alle Einzahlungen sauber auf ihren Konten gebucht wurden und was an den Tagen, als der Dienst verschwunden war, passierte. Danke an den Leser für den Hinweis – in diesem Artikel finden sich noch einige O-Töne.
Eine Instanz eines einzelnen Kunden ist weg und Google spricht von „Config-Fehler“? Wohl eher „der Mitarbeiter hat auf löschen geklickt und alle Bestätigungen durchgeklickt“, das war kein Automatisierungsfehler, dann hätte es deutlich mehr getroffen.
warum arbeitet ein 124 Mrd. AUD schwerer Fond mit einem privaten Google Konto. Das ist eher das Problem.
oh, jetzt so beim 2. Mal lesen, habe ich das erste Mal den Passus „..ensionsfonds (UniSuper) hatte ein privates Cloud-Konto/-Abonnement bei Google…“ irgendwie überlesen.
Ok, ändert zwar an meiner Aussage nichts, dass es niemals automatisiert gelöscht worden sein kann, aber das Mitleid ist gerade auf nahezu 0 gesunken, wenn man meint damit Kosten sparen zu können, als Firma (scheinbar gar nichtmal so klein) ein Privat-Konto-Vertrag nutzt, der hat es nicht anders verdient.
Sach mal, wie kann man *ernsthaft* davon ausgehen, dass das ein „privates“ Konto im Sinne von „Nicht gewerbsmäßig“ war und dann auch noch Dinge wie „kein Mitleid“ posten?
Hier geht es um kommerzielle IaaS-Dienste, VPC etc. pp. (das „P“ steht da für „Private“ was hier *nicht* „nicht-kommerziell“ heißt). Zeig mir doch mal wie Du mit einem nicht-gewerblichen Vertrag bei Google virtuelle Datacenter baust mit Georedudanz und das nicht abrechnest xD. Hier wird es um siebenstellige Beträge gehen. Klar, da klickt man sich via Android sein Google Konto. Nicht.
Und natürlich, sagt ja auch Google, kann da automatisiert gelöscht werden. Glaubste die räumen alle Objekte in den Diensten von Hand auf, wenn einer zu Amazon zieht und bei Google kündigt? Ja ne, ist klar…
nein das habe ich nie behauptet, steht auch nirgendwo. Wenn da was automatisiert, für eine(!) instanz läuft, dann wurde das von Hand angestoßen.
Wenn es ein regulärer Automatismus wäre (z.B. Wartungsjobs), dann wären davon mehr Instanzen betroffen und nicht nur eine. Was auch deiner Aussage entsprechricht: die werden nichts von Hand machen, das läuft alles automatisiert.
Zu dem ersten Absatz: lese den Beitrag noch einmal, vor allem der erste Abschnitt, wo eindeutig steht „privates Konto“, wobei dann weiter untern wieder private Cloud steht – was dann wieder zu deiner Aussage passt. Da passen die beiden Angaben im Beitrag nicht zueinander.
„… Backups haben den Datenverlust minimiert …“
Minimierter Datenverlust heißt aber auch, dass nicht alle Daten wiederhergestellt worden sind oder wiederhergestellt werden konnten.
Das ist weder eine absolute noch eine relative Größe.
Blöd halt, wenn die eingezahlten Beiträge futsch sind. Womöglich bekommen einzelne Beitragszahler gar keine Kenntnis davon, dass sie ihren Kontostand prüfen sollen.
Mag sein, dass es da auch Fehler bei Google gab und in der Cloud ohnehin alles blöd ist. Aber grundsätzlich lag das Problem doch woanders. Ein 124 Mrd. AUD schwerer Fond nutzt ein privates Google Konto… Fehler 1. Und kümmert sich dann auch nicht um ein sicher funktionierendes Backup. Fehler 2 oder hat das Backup zumindest im Vorfeld nicht getestet.
Naja,
das nicht alle Daten im Backup enthalten sind ist bei den meisten Backups so.
Wenn das Backup täglich gemacht wird, und es gibt einen Ausfall, dann können aus dem Backup nicht alle Daten wieder hergestellt werden.
Es fehlen immer die Daten, die zwischen dem letzten Backup und dem Ausfall hinzugekommen oder geändert worden sind.
Wenn ich z.B. das Backup täglich um 23 Uhr mache und der Ausfall passiert um 22 Uhr, dann sind die Daten von 23 Stunden weg.
Wobei man sich an dieser Stelle aber auch fragen muss, warum hat Google nicht einmal Snapshots vorhanden sind, wenn die mit (den vermeintlichen) Automatismen ganze Kunden mal eben weglöschen.
Das denen mal die Hardware um die Ohren fliegt kann ja durchaus vorkommen und damit sind die wiederrum für die Wiederherstellung verantwortlich – wobei, ne ist ja Software! Haftung ausgeschlossen und man kann am Ende immer sagen „bedauerlicher Softwarefehler, da kann man nix machen“! :)
Jedes produzierende Gewerbe wäre so einfach, wenn man die gleichen Haftung wie bei Software hat und einfach für nahezu nichts geradestehen muss :-)
Und bzgl. Backups: wichtige Systeme sollten auch >1x Täglich gesichert werden, unsere Produktiv-Datenbanken / Logs werden stündlich weggeschrieben, wichtige Fileserver alle drei Stunden, kommt halt am Ende auf die gewünschte Verfügbarkeit an.
Beim Löschen werden wohl auch die Snapshots gleich mit gelöscht worden zu sein.
Im Übrigen steht bei vielen Cloudanbietern in den AGB, das der Kunde selbst für Backups verantwortlich ist.
D.H., die Cloudanbieter machen keine Backups von Kundendaten.
Letztes Jahr gabs doch einen Vorfall bei einem Cloudanbieter in Dänemark. Der hatte die entsprechende Klausel in den AGB drin und nach dem Vorfall sagte der „Sorry, wenn ihr selbst kein Backup gemacht habt, sind eure Daten jetzt weg. Ein Backup haben wir von euren Daten nicht.“
Wenn ein täglich Backup nicht reicht wurde ein falscher Ansatz bzw. die falsche Technik fürs Backup gewählt.
Eigentlich ganz einfach.
Gruß
Das ist ein Problem das alle Banken haben.
Und gelöst haben.
Die nutzen kein privates Konto, das ist ein Missverständnis/Fehlübersetzung. Die hatten ein „Private-Cloud“ Abo, d.h. Google stellt denen Ressourcen bereit, die die wiederum für ihre Kunden verwenden können. Das hat nichts mit privat im Sinne von „für persönlichen Gebrauch“ zu tun.
Und das Backup hat ja anscheinend funktioniert, sonst wären die ja nicht wieder online.
Kein Backup?
Kein Mitleid!
Erreicht man bei google überhaupt jemanden bei solchen Problemen :-) ist dann wie bei MS anzurufen. Es muß auch nicht immer MS sein mit Cloud Problemen, die anderen dürfen auch mal ran..
Langsam lernen die Firmen wieder etwas Neues. Die Cloud klaut. Konto geloescht. Einfach mit einen Mausklick die Welt steuern. Wenn der Cloud und KI Hype wieder vorbei ist gibt es bestimmt wieder einen neuen Sch**ss den keiner braucht.
wer kommt auf die Idee, solch sensible Informationen überhaupt in der public cloud zu verwalten? Das ist doch programmierter Irrsinn.
Genauso gut könnte man Fahrkartenterminals unter Windows 3.1 oer 95 laufen lassen, aber selbst da wäre der Schaden geringer.
Der Wahnsinn hat Methode. Hauptsache, es steht *Cloud* irgendwo drauf, auch wenn man das AKW dann auf der San Andreas Verwerfung betreibt.
Servus Leidl, welche Backup Lösung wurde beim Restore verwendet? Ist das bekannt?
Kiners welche Backup Lösung wurde beim Restore verwendet? Heimat Land, kann doch nicht so schwer sein.