[English]Seit dem 5. Juni 2023 gab es ja immer wieder Probleme mit der Verfügbarkeit der Microsoft-Cloud bzw. der dort angebotenen Dienste. Ich hatte in meinen Blog-Beiträgen spekuliert, dass da wohl ein Angriff hinter stecken könnte, zumal eine Hacktivisten-Gruppe Anonymous Sudan die behauptet hatte. Aus Microsoft-Kreisen hieß es uniso “nichts bekannt”. Nun liegt mir ein Post Incident Report For Microsoft 365 vor, als dem man ableiten kann, dass es DDoS-Angriffe auf Microsofts Cloud gegeben haben muss.
Microsoft-Cloud mehrfach gestört
Als ich am 5. Juni 2023 über eine Störung bei Microsoft Exchange Online informiert wurde, ging ich noch von einem technischen Problem aus – obwohl ich im Beitrag Exchange Online-Störung (5. Juni 2023) – Werk russischer Hacker? bereits die Frage stellte, ob Hacker dahinter stecken können. Grund war, dass eine Hacktivsten-Gruppe mit dem Namen Anonymous Sudan die Verantwortung für die Störung reklamierte.
Die Hacktivisten gaben an, Microsofts Server per DDoS-Angriff überlastet zu haben. Allerdings wurde mir aus dem Microsoft-Umfeld signalisiert, dass da nichts bekannt sei. Aber irgendwo ruckelt es in den nächsten Tage Anfang Juni 2023 weiter in der Microsoft-Cloud. Am 8. Juni 2023 folge dann der Blog-Beitrag Outlook.com und OneDrive down – Folge von Cyberangriffen? (8. Juni 2023) zur nächsten Störung. Und am 9. Juni 2023 erschien der Beitrag Microsoft Azure-Ausfall (9. Juni 2023); was ist da los?, wo es dann das Azure-Portal betraf.
Im Blog gab es auch diesen Kommentar, wo kolporiert wurde, dass ein Microsoft Key Account Manager aus Österreich händeringend Meldungen zu Hackerangriffen suche. War die Botschaft “gehen sie weiter, hier gibt es nichts zu sehen und die Presse fabuliert sich was zusammen”. Konnte ich nichts zu sagen, da meine Quellen im Microsoft-Umfeld nichts von einen Angriff wussten, Twitter andererseits Informationen von Anonymous Sudan hatten. Am 14. Juni war das Microsoft 365-Portal für Deutsche Nutzer nicht wirklich erreichbar und litt unter Schluckauf (Microsoft 365-Portal erneut mit Schluckauf (14.6.2023)).
In allen Beiträgen hatte ich entsprechende Statushinweise von Microsoft eingepflegt, die mir von einem Blog-Leser übermittelt wurden (nochmals vielen Dank dafür). Offen blieb die Frage, was die Ursache für die Probleme sei – von Microsoft gab es bezüglich der Frage, ob Anonymous Sudan involviert war, keinen Kommentar.
Ergänzung von einem Leser in einer direkten Nachricht als Reaktion auf diesen Blog-Beitrag. Der Leser schrieb, dass er den obigen Kommentar mit Hinweis auf den MS Key Account Manager nicht wirklich versteht. In seinem Umfeld sei von Microsoft recht schnell (leider nur telefonisch und unter der Hand) bestätigt worden, dass es sich (wahrscheinlich) um einen DDoS-Angriff handele und es unklar sei, wie lange das andauere.
Das konnte man auch indirekt aus den Statusreports im Administrator-Dashboard ablesen, wo von Traffic-Spikes die Rede war.
O-Ton aus der Leser-Info: „Irgendwann kam sogar der Tipp kritische Apps auf on-prem zu schieben, falls möglich. Absoluter Albtraum das Ganze.“
Es war doch ein DDoS-Angriff
Jemand hat mir dann Ende der Woche einen Post-Inzidenz-Report für Microsoft 365 vom 15. Juni 2023 für die Vorfälle EX571516, MO571683 und MO572252 per Mail zukommen lassen(danke dafür), der Licht ins Dunkel bringt (aber im Grunde das aufbereitet, was bereits im Statusbereich des Admin-Panels zu lesen war). Ich bereite den Inhalt nachfolgend mal kurz auf. Die Störungen (zu den von mir oben genannten Daten) wirkten sich auf folgende Dienste aus:
Users may have been unable to access Outlook on the web or other Microsoft 365 services and features.
Impacted services and features include, but were not limited to:
Exchange Online
– Users were unable to access Outlook on the web
– Users may have experienced issues using the Outlook mobile application– Users may have experienced issues with the search function in Outlook on the web, Outlook desktop client and the Outlook mobile application
Microsoft Teams
– Users may have experienced difficulties scheduling meetings and/or live events
– Users may have had trouble loading people profile cards
– Users may have experienced issues loading file lists
– Users may have been unable to create new teams & channels
– Users may have been unable to install apps
– Users may have experienced issues performing searches
– Users may have seen delays in admin policy changes taking effect
– Users might have seen errors when using messaging extensions
– Users may not have seen up to date Presence information
– Teams Graph APIs may have been impacted
– Assignments tab in Teams may have not loaded
– Teams Admin Center functionalities may have not performed as expected
– Users may have been unable to view personal or channel calendar events
SharePoint Online and OneDrive for Business
– Users may have been unable to use Search functionality
Microsoft Bookings, Microsoft Power Automate and Power Apps in Microsoft 365 may have also experienced some impact related to this issue.
Das spiegelt das wieder, was eigentlich aus meinen alten Blog-Beiträgen beaknnt war. Die Auswirkungen waren spezifisch für die Nutzer, die über die betroffene Infrastruktur bedient wurden. Über einen Zeitraum von zwei Tagen gab es vier spezifische Beeinträchtigungsfenster, die jeweils etwa zwei Stunden dauerten. Die Telemetrie zeigte, dass der erste Ausfallzeitraum die größten Auswirkungen auf Outlook im Web und die Representational State Transfer (REST)-Verbindungen zum Exchange Online-Dienst hatte, wobei die Dienstverfügbarkeit während des Ausfallfensters auf etwa 89 % fiel.
Störungen der Microsoft-Cloud, Quelle: Microsoft
Die Analyse des Datenverkehrs zeigte anomale Spitzen bei den HTTP-Anfragen, die an einen Teil der Front-End-Komponenten von Microsoft 365 gerichtet waren und die bestehenden automatischen Wiederherstellungsmaßnahmen umgingen. Die Front-End-Komponenten begannen, unterhalb akzeptabler Schwellenwerte zu arbeiten, was sich auf Funktionen wie Outlook im Web, REST und Suchfunktionen auswirkte. Die Verfügbarkeit von Outlook im Web fiel zeitweise auf 89 % ab.
Microsoft hat die Zeitfenster für die betreffende Ereignisse, bei denen die Cloud-Dienste weltweit betroffen waren, für den 5. und 6. Juni 2023 genauer angegeben:
- First impact window – June 5, 2023, from 2:12 PM to 4:00 PM UTC – lowest point of availability was 89% for Outlook on the Web.
- Second impact window – June 5, 2023, from 7:24 PM to 10:03 PM UTC – lowest point of availability was 93% for Outlook on the Web.
- Third impact window – June 6, 2023, from 7:59 AM to 9:30 AM UTC – lowest point of availability was 95% for Outlook on the Web.
- Forth impact window – June 6, 2023, from 3:01 PM to 5:10 PM UTC– lowest point of availability was 98% for Outlook on the Web and REST.
Für Microsoft war unglücklich, dass eine Update-Verteilung zeitlich mit der Störung zusammen fiel und man die Probleme auf das Update bezog. Später stellte man fest, dass die Fehlermuster trotz Fixes weiterhin auftraten und anomalen Verkehrsmuster-Spitzen das zugrundeliegende Problem verursachten. Microsofts Administratoren begannen mit der Einführung von mehreren Korrekturen, um das zugrundeliegende Problem zu beheben. Dazu gehörte die Entwicklung von Änderungen, die darauf abzielten, die Auswirkungen besser abzufangen, während parallel dazu Korrekturen entwickelt wurden, um die zugrunde liegende Ursache zu beheben und die Auswirkungen zu beseitigen. Die Änderungen betrafen drei Bereiche des Dienstes:
- Verbesserungen der Lastausgleichsvorgänge und –logik (drei verschiedene Änderungen)
- Optimierung von spezifischem Code innerhalb von Anwendungen, um die spezifischen anomalen Anfragen besser zu bewältigen (zwei verschiedene Änderungen)
- Optimierungen der Front-End-Komponenten zur Verbesserung der allgemeinen Anfrageverarbeitung (drei verschiedene Änderungen)
Am 8. Juni 2023 wurde der dritte Fix zur Behandlung solcher Lasten im Microsoft-Netzwerke für die Cloud verteilt. Auch am 8. Juni 2023 ergab die Analyse des Datenverkehrs anomale Spitzen bei den HTTP-Anfragen, die an einen Teil der Microsoft 365-Front-End-Komponenten gerichtet waren und die bestehenden automatischen Maßnahmen zur Wiederherstellung umgingen. Die Front-End-Komponenten begannen, unterhalb akzeptabler Schwellenwerte zu arbeiten, was sich auf Funktionen wie Outlook im Web, REST und Suchfunktionen auswirkte.
Inzwischen meint Microsoft die Infrastruktur der Cloud so optimiert zu haben, dass solche Last-Spitzen abgefangen werden und die Dienst den Nutzern weltweit zur Verfügung stehen. Um den Bogen zu den Eingangsinformationen zu spannen: Es sieht so aus, als ob die Behauptungen der Hacktivisten von Anonymous Sudan, dass man für die Ausfälle der Microsoft Cloud verantwortlich sei, keinesfalls aus der Luft gegriffen waren.
Für mich stellt sich die Frage: Was ist, wenn ein Staat mit erfahrenen Hackern einen Cyberangriff auf die Microsoft Cloud fährt. Dann dürfte diese Cloud regelrecht pulverisiert werden.
Ergänzung: Um es nochmals klar zu stellen – mir ist irgendwo klar, dass es für gewisse Lösungen durchaus was „mit Cloud“ sein kann/muss. Und ich bin mir auch darüber klar, dass Sachzwänge in Unternehmensumgebungen verhindern, dass die Leute auf Linux wechseln. Wenn das sauber auseinander dividiert wird und es ein Konzept gibt, um bei Ausfall bestimmter Komponenten weiter arbeitsfähig zu sein, wäre alles kein Problem.
Aber es hakt aktuell im Ansatz Microsofts, alles in Richtung Cloud-Abhängigkeiten zu schieben. Das wird, gepaart mit „Software as a service“ und dem fehlerträchtigen „continous development“ mehr und mehr zum Problem. Wo bei mir das Verständnis gänzlich aufhört, sind die Aussagen der Jubelperser, die alles und jedes in die Cloud migrieren und das auch noch über den grünen Klee loben, ohne irgendwo einen Jota nachzudenken.
Ich fürchte, 20 Jahre Business-Schools haben eine Management-Generation in Unternehmen und Behörden gespült, die nicht mehr in der Lage ist, strategisch zu denken und Abhängigkeiten möglichst zu vermeiden. Das wird uns allen noch arg auf die Füße fallen – denn die Welt befindet sich längst im „Cyberkrieg“ (wenn man Ransomware-Fälle und Hacks mit rechnet). Der obige Fall (ich habe ja bereits länger darauf gewartet) zeigt, was passieren kann (ist noch glimpflich ausgegangen). Natürlich hat Microsoft schnell reagiert – aber es war ja auch kein staatlich gesponsorter Cyberangriff.
An dieser Stelle breite ich nun nicht aus, was mir von Blog-Lesern an Interna (a la Reaktionen Microsofts auf Kundennachfragen, wann der 1. Cloud-Ausfall behoben sei) noch gesteckt wurde.
Microsoft bestätigt Storm-1359-Angriff
Ergänzung 2: Neben unten stehendem Kommentar bin ich auch über weitere Quellen auf Microsofts Bericht Microsoft Response to Layer 7 Distributed Denial of Service (DDoS) Attacks gestoßen, in dem Microsoft einen DDoS-Angriff von Anonymus Sudan (von Microsoft als Storm-1359 bezeichnet) gab. Es gibt einen Folgeartikel Cloud-Ausfälle: Microsoft verrät Details zum DDoS-Angriff durch Anonymous Sudan/Storm-1359 dazu.
Ähnliche Artikel:
Exchange Online-Störung (5. Juni 2023) – Werk russischer Hacker?
Outlook.com und OneDrive down – Folge von Cyberangriffen? (8. Juni 2023)
Microsoft Azure-Ausfall (9. Juni 2023); was ist da los?
Microsoft 365-Portal erneut mit Schluckauf (14.6.2023)
Cloud-Ausfälle: Microsoft verrät Details zum DDoS-Angriff durch Anonymous Sudan/Storm-1359
Dann hat sich meine Vermutung bestätigt. Fand ich schon merkwürdig und ich gehe nicht immer vom schlimmsten aus. Aber es zeigt einmal mehr, dass auch ein Microsoft gegen gut organisierte Hacker machtlos ist. Aber evtl. laufen die Dienste auch auf einem IIS :-P
„Machtlos“ ist hier relativ – der Ausfall war da, aber nicht zu 100% und nicht über eine unbestimmte Zeit ohne Möglichkeit der Gegenwehr.
Viele Unternehmen wären m.E. nicht in der Lage solche Angriffe in kürzester Zeit in den Griff zu bekommen.
Und für das angegriffene/gestörte Unternehmen spielt es IMHO keine Rolle, ob der Angriff/Störung auf die eigenen oder auf die gebuchten Cloud-Resourcen stattfindet. Es zählt allein, wie schnell die Störung behoben und ggf. dauerhaft gefixed werden kann.
Es macht durchaus einen Unterschied, ob man als Unternehmen auf Dritte angewiesen (und machtlos) ist oder beim Self-Hosting (ob im internen oder externen RZ) schneller reagieren kann.
Je zentraler eine Infrastruktur und mehr outgesourct ist, umso größer sind am Ende die Risiken, die Auswirkungen und meist auch die Schäden in den verschiedenen Szenarien. Da wären wir übrigens beim Thema IT-Risikomanagement.
Wenn einer der großen Player anfällig ist, sind es die Anderen dann nicht auch? Meiner Meinung nach, unterscheiden sie sich doch nicht so gravierend.
Und genau da ist das Problem. Wenn sich alles auf ein paar große Anbieter konzentriert und dann ein Anbieter gehackt wird liegt alles am Boden. Und wenn ein Betriebssystemanbieter aus Redmond, ich nenne keine Namen, dann auch noch seine Kunden „zwingt“ alles nur noch über seine Dienste abzuwickeln indem Anmeldungen am eigenen PC nur noch über Online-Konten möglich sein sollen, alle Server beim Anbieter stehen usw. dann knallt es eben richtig wenn es mal knallt.
Völlig korrekt. Aber ebendiese Schlüsse zu ziehen, ist für viele in diesen Tagen ein Ding der Unmöglichkeit.
Leider sind es schon zu viele die eben nicht gemerkt haben wie sie geködert wurden und nun in der Falle sitzen. Software als Abo und Daten woanders lagern wo man keine Kontrolle darüber hat kam für mich noch nie infrage. Mir reicht es schon wenn mein Emailanbieter angeblich immer eine zweite Emailadresse benötigt, die Telefonnummer muss reichen für die Wiederherstellung
Seltsam, ich kann mich mit meinem Onlinekonto an meinem Notebook auch mitten im Wald, also ohne WLAN oder so anmelden. Irgendwas mache ich falsch… Menno! [GB: Danke für die Klarstellung – es ging um Anmeldung an Windows – wo es hakt, sind alle Funktionen, die zwingend Online-Verbindungen benötigen und nicht gecached werden können – den letzten Satz habe ich daher im Rahmen der Moderation rausgestrichen. Danke für das Verständnis.]
Du hast nicht verstanden um was es geht. Du kannst dich gern immer weiter in den Käfig in Redmond begeben und dich darüber auch noch freuen. Nur irgendwann wir es zu spät sein um dann wieder raus zu kommen musst du dir alles neu aufbauen weil du aus der Microsoft Cloud Welt nicht mehr zurück migrieren kannst.
Ich hab da kein Problem damit, ich käme jederzeit aus dem „Käfig“ raus, da ich automatisch ein stündliches Offlinebackup aller Daten im OneDrive mache. Robocopy ist mein Freund, der Pfad wo der OneDrive-Spiegel lokal liegt, setze ich als Bekannt vorraus, um das nachzubauen. Lokales Extra-Konto mit Adminrechten ist auch da. Bin ja nicht so blöd wie hier manche denken…
1st1..
Fängt doch mit OneNote an usw.
Den Menschen ist das schon bewusst aber sie wollen billig.
Gewinnmaximierung jedenfalls am Anfang ..
Wer das Office Zeug nutzt bekommt viele Sachen im Notfall nicht sauber raus.
Einer macht schmu und deinem Konto und es wird gesperrt?
Im dümmsten Fall kein Windows Login, der Store mit dem Passwort Manager geht nicht mehr.. die Kennwörter sind im Authenticator, OneNote Daten kommt man nicht (Offline Cache ist gerade weg, Laptop defekt,..),.. Emails geht nicht.. Der Bank-Kennwort reset geht nicht, da kein Zugriff auf Mail und auf Passwort Manager usw.. spielt es doch einfach mal durch dann seht ihr das Ergebnis!
Es gibt ein paar Sachen, die im Firmenumfeld nicht ohne MS gehen, weil sonst nicht handlebar. Gibt ja kaum Konkurenz.. und hier ist das Problem. Die Firmen wollen keine Alternative.. lassen sich ausquetschen (oh wie günstig war doch Office am Anfang?) oder Atlassian Murks? Wenn diese 2 Firmen weg sind, kann man nicht mal mehr Klopapier produzieren.
Hat man doch auch an den Lieferketten / Masken damals gesehen.. hat sich was geändert?
Die Firmen passen ihre Workflows komplett auf diese 2 Anbieter an und schon ist alles vorbei. Selber schuld.. hat ja jemand bei der Entscheidung kräftig verdient..
Genau meine Meinung. Und jetzt mit den Passkeys oder wie die auch immer genannt werden ist es doch das Selbe. Ich bleibe beim Passwort dass kann ich analog kopieren Zettel, Notizbuch usw.. Da benötige ich auch keinen Passwortmanager für.
Naja bei einem Buisness Account wird „nicht einfach so“ gesperrt.
Microsoft Response to Layer 7 Distributed Denial of Service (DDoS) Attacks