Zum 26. Oktober 2024 gab es um 01:52 UTC eine Netzwerkwartung. Danach kam es zu Problemen, die ca. eine Stunde später behoben wurden. Dabei scheint wohl Anycast für den Zugriff auf die Fortiguard Server nicht mehr zu funktionieren, was erhebliche Probleme bereitete.
Oliver hatte mich Freitag am späteren Nachmittag per Mail kontaktiert. Da ich aber unterwegs bin, stelle ich es als Rückschau ein.
Netzwerk-Probleme am 26. Oktober 2024
Auf der Fortigate Forticloud-Statusseite findet sich zum 26. Oktober 2024 ein Hinweis auf eine Netzwerkwartung (siehe folgender Screenshot).
Es gibt dort den Hinweis, dass man etwas „untersucht“ und später die Information, dass die Netzwerkwartung abgeschlossen sei. Soweit so normal.
Problem mit Anycast-Zugriffen
Oliver wies mich in seiner Mail darauf hin, dass Anycast für den Zugriff auf die Fortiguard Server – zumindest in unseren Breiten – nicht mehr zu funktionieren scheint. In der Folge brechen alle Fortigate Policy Rules, die z.B. einen DNS-Filter via Fortiguard Services verwenden und Zugriffe finden ein jähes Ende. Die Auswirkungen sind entsprechend dramatisch, wie folgender Screenshot von Oliver zeigt.
Es sind keine Zugriffe mehr auf die Fortigate-Server mehr möglich. Ein schneller Fix ist das Abschalten von Anycast, schrieb mir Oliver:
config system fortiguard set fortiguard-anycast disable set port 8888 set protocol udp end
Danke an Oliver für den Hinweis. Inzwischen ist der Status bei Fortigate wieder im grünen Bereich. War jemand von obigem Problem betroffen?
Interessant! Tatsächlich ging ab der Zeit ca. nichts mehr hinter einer Fortigate. Neustarts, komplette Cold Boots und Config neu einspielen änderten nichts an der Tatsache, das kein Traffic mehr nach außen ging. Nach spätestens 2min ging nichts mehr durch und das Webinterface reagierte an diversen Stellen einfach nicht mehr. Evtl. hängt es irgendwo auch damit zusammen. Am Ende half nach 2h Fehlersuche auf jeden Fall nur eine komplette Neuinstallation mit anschliesendem einspielen der Config über TFTP und Console Connection.
Hi, wir haben aktuell immer noch das Problem, dass ab und zu einige Seiten die Fehlermeldung vom Samstag wieder anzeigen.
Meinst Du mit deinem Beitrag, dass ich wirklich um eine komplette Neuinstallation nicht herum komme?
VG Markus
Am besten neue Firewall kaufen. Wer wegen diesem Problem neu installiert, solle einen anderen Beruf wählen.
Ich sprach doch mit keinem Wort davon, dass es das Problem in diesem Beitrag war, sondern lediglich, dass es Zeitlich nahe beieinander ein Problem gab und es evtl. zusammenhängen KÖNNTE. Traffic wurde komplett gedropt und es gab keinen Bezug zu den Filtern. Das heißt: die zu diesem Zeitpunkt evtl. nicht laufenden Fortiguard Server sind komplett Wumpe wenn man die Dienste abstellt oder gar nicht aktiv hat. Und selbst wenn, erhält man eine Meldung wie im Blog korrekt beschrieben. Das war aber hier nicht der Fall. Einfach mal richtig Lesen ;) Aber hey scheinbar machst du Beruflich (hoffentlich) nichts in der IT.
Ums klar zu machen falls es (immer) noch nicht verstanden wird: die Probleme gab es Nachts. Gemeldet wurde es 12h später und da war ja auf Forti Seite alles wieder behoben.
@Markus
Einfach mal im Support melden würde ich empfehlen. Mein Vorgehen war nur ein Emergency Lösungsweg und wie gesagtz hatte nichts mit dem Verhalten das hier beschrieben wird zu tun – war nur Zeitlich naheliegend und daher mein Beitrag.
Ich vermute einfach mal, dass hier V 7.4.x eingesetzt wird. Da hatte ich auch immer wieder mal Störungen die (angeblich) nicht erklärbar waren. Aber Fortinet empfiehlt ja selbst nach wie vor V 7.2.x und da läuft definitiv alles besser.
Haben übrigens bei meiner Aktion auch ein Rollback von 7.4.x auf 7.2.x durchgeführt.
Hallo Herr Born,
anycase != anycast
;-)
Auch bei uns traten ähnliche Probleme auf. Eine Lösung war, auf FortiGuard DNS-Server zu verzichten und die DNS-Sicherheitsrichtlinien mit FortiGuard-Filterung aus den Firewall-Regeln zu entfernen. Vielleicht hilft das auch anderen weiter.
Jop. Waren betroffen. Unschön mitten in der Nacht. Haben dann als schnellen Workaround kurzzeitig auf „alllow Traffic“ bei Rating Errors umgestellt.
die einzig richtige Vorgehensweise… was man hier so liest, die Kollegen sollten mal eine Schulung besuchen oder ihre Firewalls von Profis administrieren lassen…
Vorgehen ist korrekt bei dem Fehlerbild. Aber scheinbar kann @f nicht lesen.
Wir hatten das gleiche Problem am Samstag.
Da ich – wegen 24×7 Betrieb – nicht auf die Filterung verzichten wollte, habe ich etwas mit anycast Einstellungen getestet und die „anycast-source“ auf „aws“ zu stellen hat letztlich zum Erfolg geführt.
Seither gibts auch keine Rating Errors mehr.
Konnte an mehreren Standorten mit den genutzten Funktionen keinerlei Probleme feststellen.
Überall laufen die DNS-Server von der DTAG und Google statt die default von Fortinet. Geht um diverse 60F, 100F und geclusterte 600E, sowie 120G Geräte mit Firmware 7.0.x und 7.2.x
Die Regeln nutzen alle DNS-Filter, Web- und App Profile. Striktes Regelwerk (Über 650 FW Policys) mit transparenten Proxy in Richtung HTTP(S).
Anycast wurde nicht deaktiviert:
FGFW02 (fortiguard) # show
config system fortiguard
set sandbox-region „Europe“
set webfilter-cache-ttl 1800
end
Danke für die Info. Ich bleibe bei der Theorie, dass „nur“ die 7.4.x instabil laufen.
Da muss ich leider widersprechen. Bei uns traten die Probleme mit 7.2.10 auf. Evtl. hat HALi auch die sandbox-region „Europe“ geholfen.
Klar während die Fortiguard Server stress machten war die Version egal. Mich würde noch interessieren ob das Verhalten bei euch genauso war wie bei mir oder wie oben im Blogbeitrag mit Hinweis auf die nicht erreichbaren Server.
Waren auch betroffen 7.4 Umstellung von
config system fortiguard
set fortiguard-anycast disable
hat geholfen.