Der Brand des größten europäischen Rechenzentrums, OVH, in Straßburg, hat so einige Angebote „aus der Cloud“ schlicht pulverisiert. Weg die tollen Angebote, Daten sind im digitalen Nirvana verschwunden, falls es kein Backup gab. Und die C&C-Server diverser ATP-Gruppen wurden durch den Brand schlicht aus dem Web gefegt.
Der Brand bei OVH
Ich hatte es nicht im Blog, weil Patchday-Drucker-Probleme und der Exchange-Massenhack meine Ressourcen im Blog gebunden haben. Agenturen wie Reuters berichteten, dass ein Feuer bei der französischen Cloud-Service-Firma OVH ausgebrochen seit und Millionen von Websites lahmgelegt habe.
Das OVH-Rechenzentrum bestand aus vier Einheiten: SBG-1, SBG-2, SBG-3 und SBG-4, wobei der Brand in SGB-2 begann. Die Fotos aus beiden Tweets zeigen, dass die Einheiten sehr kompakt aneinander gebaut waren, d.h. der Brand griff auf weitere Einheiten über. Auf Grund des Brands mussten dann die restlichen Einheiten heruntergefahren werden. Unternehmensgründer Octave Klaba gibt an, dass SGB-2 komplett zerstört sei, zudem brannte es in Teilen von SGB-1. Wer Details benötigt, findet bei den Kollegen von heise einen Artikel mit einigen Details zum Brand.
Google berichtete zum Wochenende in diesem Artikel, dass eine Unterbrechungsfreie Stromversorgung (USV) den verheerenden Brand ausgelöst habe.
Das Web pulverisiert
Bei OVH waren nicht nur kleine Webseiten gehostet, sondern die Portale von Webangeboten, Regierungen, Banken etc. liefen auf Servern in diesem Rechenzentrum. Die Portale von Regierungsbehörden, Banken, Geschäften und Nachrichten-Websites wurden dadurch aus dem Web gefegt. Golem schreibt, dass der Brand bei OVH 3,6 Millionen Webseiten lahm gelegt habe, und ein Teil des unter der Länderdomain .fr gehosteten Webs wurde zerstört. Bin über eine Sicherheitsgruppe auf Facebook auf das Thema aufmerksam geworden. Es sieht wohl so aus, als ob da einige Daten verloren gingen (Zitat habe ich wegen Diskussionen außerhalb des Themas rausgenommen, da ich mir die sonstigen Positionen der unter dem Namen postenden Person nicht zu eigen mache).
Firmen, die bei OVH gehostet waren, müssen jetzt ihre Notfall-Pläne aktivieren und schauen, wo die Daten gelagert sind. Wer ein Backup auf einem der Server im abgebrannten Rechenzentrum hatte, dürfte damit in die Röhre schauen – ob OVH eine Backup-vom-Backup an einem anderen Standort abgelegt hat, ist aktuell unklar. Die OVH-Statusseite zeigt, dass viele Instanzen aktuell auch weiterhin gestört sind.
OVH bemüht sich, Reserve-Infrastruktur bereitzustellen. So ein Feuer kann zwar auch in jedem Server-Raum einer Firma auftreten. Aber die Folgen sind dann weniger gravierend. Hier ist ein Teil der in der Clou gespeicherten Daten, Internetseite und Anwendungen schlicht pulverisiert worden. Ich selbst habe wohl Glück gehabt, weil mein Webhosting-Paket nicht auf einem Server läuft, der beeinträchtigt ist – die letzte Komplettsicherung ist Anfang letzter Woche passiert. Der Vorfall zeigt, es ist nicht alles „goldene Cloud, was da in Prospekten glänzt“ und so mancher Anbieter muss wohl seine Recovery-Struktur überdenken.
Ergänzung: OVH hat jetzt diese Seite aufgesetzt, wo man sich über die Möglichkeit zur Wiederherstellung der Daten informieren kann. Einige Daten lassen sich aus Backups wohl zurückholen – bei anderen Angeboten sind die Daten wohl verloren – so meine Lesart.
ATP-Infrastruktur auch geputzt
So schmerzhaft das für viele Nutzer des OVH-Rechenzentrums ist, ein Gutes hat dieser Brand: Die bösen Buben waren leider auch bei OVH eingemietet. Durch den Brand des OVH-Rechenzentrums wurden auch die Befehls- und Kontrollinfrastruktur, die von mehreren nationalstaatlichen APT-Gruppen und Cybercrime-Banden genutzt wird., aus dem Web gefegt.
Costin Raiu, der Direktor des Global Research and Analysis Team (GReAT) bei Kaspersky Lab, teilte mit, dass 36 % von 140 OVH-Servern, die von verschiedenen Bedrohungsakteuren als C2-Server genutzt wurden, offline gingen. Die Server wurden von Cybercrime-Banden und APT-Gruppen genutzt, darunter die mit dem Iran verbundenen Gruppen Charming Kitten und APT39, die Cybercrime-Gruppe Bahamut und der mit Vietnam verbundene APT OceanLotus. Details lassen sich bei Security Affairs in diesem Artikel nachlesen.
Waren denn die Server nirgends gespiegelt ?
z.B. hat https://archive.org/ Ihre Server in SanFransico und gespiegelt in Alexandria/Ägytpen. Also am anderen der Welt.
Und Strato ebenfalls in Berlin mit Spiegel in Karlsruhe.
Wieso hier bei OVH alles an einem Ort sein soll, zumal Regierungen/Banken dabei sind vermag ich kaum zu glauben. Die achten doch auf sowas
Kostet soweit ich weiß Aufpreis, vermutlich haben viele darauf verzichtet.
Edit: Finde auf die Schnelle nichts bei OVH. Aber zumindest bei den Servern sind 500GB Backup dabei, muss aber wohl dann auch aktiviert werden. Bei der Hosted Cloud gibts ein Recovery-Plan, der aber auch entsprechend kostet.
Kommt wohl auch darauf an, wieviel man für das Hosting bezahlt. Man bekommt schließlich, was man bezahlt. Der Vorfall sollte wohl so einige Leute wachrütteln.
Ganz schwierige Kiste. Mir ging ja sofort im Kopf herum „bist Du auch betroffen“, weil mein Blog ja die letzte Woche lahmte und ich weiß, dass HostEurope virtuelle Webserver in einem Rechenzentrum in Straßburg betreibt. Dazu einige Bemerkungen:
– natürlich kam sofort ein Kommentar hier im Blog „geht aber günstiger und besser als bei HE“ (was immer die Aussage heißen mag).
– ich habe mir vor ca. 2 Jahren Gedanken gemacht, von HE wegzugehen – nach einer Kurzrecherche kam so was wie „vom Regen in die Traufe“-Gefühl auf. Da gab es bei anderen tagelange Ausfälle, Hacks und so weiter.
Vor einem Jahr musste ich Knall auf Fall mein Webpaket, auf das ich (dank einer schlechten Beratung durch den HE-Vertrieb) gebucht war, und den Server überlastet hat, wechseln. Ich habe damals dem Reflex wiederstanden, einen virtuellen Server zu buchen – weil ich dann alles, vom Linux bis zu PHP und WordPress hätte administrieren müssen – und weil im Hinterkopf das „und Du wirst nach Straßburg ins Rechenzentrum geschoben“ war. Hab dann wohl Glück gehabt, weil die Server für Hosting-Pakete bei HE nicht betroffen waren (ob die noch in Köln stehen, weiß ich nicht). Wenn es dich trifft, ist es egal, was Du zahlst – du bist im Eimer.
Ja, so ein Pech kann man haben, wenn man nicht weiß, was welcher Hosting-Anbieter/Dienstleister wo einkäuft. Und das weiß man bei einigen Anbietern eben nicht. Im Zweifelsfall eben das billigste, um den größten Profit zu machen. Und wer rechnet schon damit, dass gleich ein ganzes RZ abfackelt? Sind doch Profis, die sowas betreiben, und die werden schon, ach, wer denkt denn schon an Brandschutzmaßnahmen, wenn man einen virtuellen Server bucht…? Und wer weiß denn, ob das Backup nicht im selben Brandabschnitt lagert…? Ich hab das mal bei einem Kunden beim Umzug des Standortes innerhalb von Frankfurt gesehen, im alten Gebäude zwei RZ weit voneinander getrennt in anderen Enden vom Gebäude, dann wurde umgezogen, und beide RZ waren auf einmal direkt nebeneinander, die Geschäftsleitung des Konzerns wollte das so (weil das zweite RZ sonst in der Nähe der großen Meetingräume gewesen wäre und da brauchte man unbedingt den Raum für die Meetinglogistik, der IT-Leiter hat geflucht…
Man sollte aus diesem RZ-Brand lernen, dass man selbst zusätzlich zu dem Backup, was der Provider vielleicht auch macht, noch ein eigenes Backup anlegt, die Strategien (jede Woche/Monat voll, dazischen inkrementell) sind ja bekannt.
Den Tipp kann ich auch für privat genutzte Cloud-Drives (OneDrive, Google-Drive, Dropbox, iCloud) nur empfehlen, unter Windows realisiert man das am einfachsten mit Robocopy (oder noch primitiver mit xcopy), man muss nur wissen, wo auf dem Windows-PC das jeweilige Clouddrive eingehängt wird, das nimmt man als Quelle, eine Batch und Einbindung in die Aufgabenplanung ist ruckzuck erledigt. Unter Linux oder MacOs dürfte cp -r oder rsync als Cronjob das mittel der Wahl sein.
Naja, die klassische „Dateiablage“ ist aber nur kleiner Teilbereich von „cloud based services“. Gerade Du, der ja stark für MS365 plädiert, solltest doch wissen, dass man seinen Betrieb auch trotz lokal gesicherten Dateien dicht machen kann, wenn man sdie eigenen IT-Prozesse Cloud-basiert abbildet und dann so etwas wie hier passiert.
Ja, stimmt, aber die Nutzung von Cloud-Drives ist das, was die meisten Leute so nutzen, und gerade da macht sich niemand Gedanken um ein Backup. Office 365 speichert ja auch nur Dateien in OneDrive, das wäre da bis auf wenige Ausnahmen schon abgedeckt.
Was das Backup anderer Cloud-gehosteter Serverdienste angeht, da muss halt jeder selbst sich mal Gedanken machen, ein regelmäßiger sql-Dump, den man dann nach lokal kopiert, wäre schonmal ein Anfangt.
Äh – Moment mal!
„Office 365 speichert ja auch nur Dateien in OneDrive“ ?
Es geht um Microsoft 365, das Produkt, von dem hier in der Vergangenheit immer die Rede war und welches Du sehr explizit gegen Kritik verteidigt hast. Du willst jetzt aber nicht sagen, dass Du von „Teams“, „OneNote“, „Exchange“ usw. noch nie etwas gehört hast?
Falls doch, sind hier viele Diskussionen wohl nur wegen unterschiedlichem Kenntnisstand der Schreibenden ausgebrochen.
*Diese* Produkte lassen sich jedenfalls ganz explizit nicht auf Dateiebene sichern
Tja gibt Gründe wieso kritische Infrastrukturin einem Ausweich RZ mit einem bestimmten Abstand stehen muss.
Und ich als WP prüfe das sogar.
Wieso aktzeptiert die franz. Regierung/Polizei, dass Cyberkriminelle und APT (noch schlimmer?) diese Server nutzen/genutzt haben?
Wieso akzepiert unsere Regierung dass Zahlungen in unbegrenzter Höhe bar erfolgen dürfen und das der Notar, der gerade die 2 Millionen in schwarzen Plaste-Tüten(wie „witzig“) für einen Immobilienkauf empfangen hat, selbst bescheinigen darf, das keine Geldwäsche vorliegt und dies nicht melde dürfe?
Wieso hat die Behörde, die diese Geldwäsche unterscuhen sollte viel zu wenig Leute und viel zu wenig Rechte?
Wieso akzepiert unsere Regierung, das so die Immobilien-Preise teilweise völlig überhöht sind und Deutschland das Traumland der Kriminellen gewornde ist?
Nein. Die Frage ist durchaus gerechtfertigt. Mich verwundert das auch. Die Server solcher Apt-Gruppen hätte ich auch eher im „Cyberbunker“ oder auf den Seychellen verortet, oder bei so einem Provider, wohin parler.com (in den USA) hin umgezogen ist, oder in irgendwelchen Schurkenstaaten, mit oder ohne Anführungszeichen (China, Russland, Ukraine, Iran, Nordkorea, Syrien, …).
Man könnte es diesen Gruppen viel schwieiriger machen, in dem man deren Server in westlichen Ländern beschlagnahmt, sobald sie identifiziert wurden. jetzt jüngst bei den Exchange-Angriffen gibts ja vom Schweizer Cert auch eine lange Liste von IP-Adressen die oftmals zu Providern in den USA zeigen (whois-abfragen). Einfach diese Server dicht machen und Ruhe ist für eine Weile.
Aber so einfach ist es wohl nicht, offensichltich gehören diese Server nicht immer den Hackern. Bei den ganzen Phishing-Mails, die ich so bekommen habe, habe ich mir manchmal die Mühe gemacht, und geschaut, wo die Downloadaressen für rechnung.doc hinführen, und das waren schlicht private oder gewerbliche Wordpesss-Instanzen, die nicht aktuell waren, irgendwelche harmlose Inhalte, die gehackt und missbraucht wurden. Ist Abschalten da das richtige Mittel? Die Angreifer bekommt man so auch nicht zu fassen. (Leider reagieren die Betreiber solcher Seiten auch nicht oft auf entsprechende Hinweise, hab das mal mit Mails an die Kontaktadresse versucht, z.B. an die info@ eines Waffengeschäfts irgendwo im mittleren Westen der USA)
Gute Frage – ich kenne die Antwort nicht. Mir fällt nur auf, das Go Daddy in den USA auf entsprechende Abuse-Meldungen oft nicht reagiert. Nur wenn richterliche Verfügungen vorliegen, scheint es schnell zu gehen. Ich denke, dass ist der springende Punkt. Wäre schon doof, jemand schickt dem Hoster eine Mail „borncity.com ist kriminell“ und ein paar Minuten später ist der Blog down und alles auf Verdacht. Es muss der Nachweis geführt werden, dass was kriminell ist – was schwierig ist. Wenn jetzt C&C-Server down sind, erkennen Sicherheitsforscher, dass da wohl ein Zusammenhang ist – vermute ich mal.
Es gibt in der Schweiz eine Web-Seite die C&C Server von Emotet, Trickbot usw listet. Eine Prüfung kann recht einfach sein: Wenn an der angegebenen Stelle ein jpg/png mit den Magic-Bytes „MZ“ für executabel ist, sollte das recht schnell blockiert werden.
Ich musste gerade auch ein klein wenig nach Luft schnappen und habe es mir 3x durchgelesen. Ich wünsche mir, dass ich den Text völlig missververstanden habe.
Sogar der genaue Anteil
„The affected 36% (of 140 OVH-Server) include several APTs: Charming Kitten, APT39, Bahamut and OceanLotus.“
ist denen bekannt?!
Was läuft da eigentlich?
ts ts ts …
Lars Sobiraj von Tarnkappe schreibt in einem Kommentar von Brandstiftung:
„Es hat wohl nicht so ganz zufällig gebrannt. Das soll eine Beweismittelvernichtung gewesen sein. Auf den Servern sollen verschlüsselte Chats bzw. Telefonate gespeichert gewesen sein, auf die man den französischen Geheimdienst wohl schon aufmerksam gemacht hat.“
Er schreibt aber nicht woher er das hat, mal abwarten ob da noch mehr kommt.