Ausgangslage
Ein Lebensmittelhersteller in Marijampolė, Litauen, mit etwa 250 Mitarbeitenden arbeitet im Zweischichtbetrieb und beliefert Handelsketten mit strengen Lieferfenstern. Die IT-Infrastruktur ist typisch für die Fertigung: mehrere virtualisierte Server mit ERP und Lagersystemen, separate Steuerungsserver der Produktionslinien im Produktionsnetz, einige Dutzend Arbeitsplätze, Netzwerkgeräte mit VLAN-Segmenten zwischen Büro und Produktion sowie Microsoft 365 für E-Mail und Dokumente.
Backups gab es, aber nur für die Server: Veeam erstellte Backups der virtuellen Maschinen auf lokalem Speicher im selben Serverraum. Die Steuerungsserver der Linien wurden nicht gesichert, weil sie vom Anlagenhersteller betreut wurden und niemand sicher war, ob das erlaubt ist. Konfigurationen der Netzwerkgeräte waren nirgends gespeichert außer auf den Geräten selbst. Microsoft 365 galt als „Sache von Microsoft“. Die Wiederherstellung war nie getestet worden.
Es gab zwei Anlässe, sich zu melden. Erstens verlangte ein Audit einer Handelskette einen Nachweis, dass das Unternehmen den Betrieb nach einem Vorfall wieder aufnehmen kann, und „wir haben Backups“ war keine ausreichende Antwort. Zweitens stand das Produktionsnetz beim Ausfall eines einzelnen Switches eine halbe Schicht still, während seine Konfiguration aus dem Gedächtnis rekonstruiert wurde. Der Produktionsleiter stellte eine einfache Frage: Wenn der Serverraum morgen weg wäre, wie lange würde es dauern, bis wir wieder produzieren?
Was erforderlich war
- Backups für die gesamte Infrastruktur: Server, Linien-Steuerungsserver, Arbeitsplätze, Konfigurationen der Netzwerkgeräte, Microsoft 365.
- Mindestens eine Kopie außerhalb des Werks, die aus dem Firmennetz nicht erreichbar ist.
- Eine vereinbarte und getestete Wiederherstellungszeit für kritische Systeme, nach der sich die Produktion planen lässt.
- Ein Wiederherstellungsstandort für den Fall, dass die eigene Ausstattung verloren geht.
- Dokumentierte Übungen mit einem Bericht, den man Auditoren vorlegen kann.
Was wir getan haben
Wochen 1–2: Bestandsaufnahme und Kritikalitätsliste
Wir listeten alles auf, was eine IP-Adresse hat, und ermittelten gemeinsam mit den Leitern von Produktion, Logistik und Finanzen für jedes System, wie lange das Unternehmen ohne es arbeiten kann. Drei erwiesen sich als kritisch: das ERP, das Lagersystem und die Steuerungsserver der Linien. Für diese vereinbarten wir ein Wiederherstellungsziel von 4 Stunden, für die übrigen bis zum nächsten Werktag. Diese Liste wurde später zum Szenario der Übung.
Wochen 3–6: Backups für die gesamte Infrastruktur
Wir strukturierten die Server-Backups nach dem 3-2-1-Prinzip neu: Veeam-Backups vor Ort, eine zweite Kopie im Rechenzentrum von MDP CLOUD in Litauen und eine dritte, unveränderliche und aus dem Netz unsichtbare Kopie, die auch Ransomware mit Administratorrechten nicht erreichen konnte. Mit dem Hersteller der Linien-Steuerung vereinbarten wir, dass dessen Server gesichert werden, während die Schreibvorgänge der Datenbank in einer nächtlichen Pause angehalten sind. Das dauerte am längsten, weil dafür die schriftliche Bestätigung des Herstellers nötig war.
Die Konfigurationen der Netzwerkgeräte begannen wir jede Nacht automatisch im selben Backup-Repository mit Änderungsverlauf zu sammeln. Für Arbeitsplätze mit Spezialsoftware (Waagen, Etikettendruck) legten wir Image-Backups an. E-Mail, OneDrive und SharePoint von Microsoft 365 nahmen wir in ein eigenes Microsoft-365-Backup auf, denn Microsoft bewahrt gelöschte Daten nur begrenzte Zeit auf und deckt nicht jedes Szenario ab.
Wochen 7–8: PlanB
Für die kritischen Systeme richteten wir PlanB ein: eine vorkonfigurierte Umgebung in der Cloud von MDP CLOUD, in der ERP und Lagersystem aus Backups hochgefahren werden können, ohne Hardware zu kaufen. Die Umgebung wartet ausgeschaltet, bis sie gebraucht wird; nach dem Einschalten verbinden sich die Mitarbeitenden per VPN von jedem Standort aus.
Wochen 9–10: Übungen
Die erste Übung fand an einem Wochenende statt: Wir simulierten den Verlust des Serverraums und stellten drei kritische Systeme in der PlanB-Umgebung wieder her. Der erste Versuch dauerte etwas mehr als 4 Stunden, weil die Lizenzdatei des ERP an den alten Servernamen gebunden war. Wir korrigierten das Verfahren und wiederholten die Übung zwei Wochen später, und diesmal erreichten wir das Ziel. Separat stellten wir die Konfiguration eines Switches auf einem Ersatzgerät wieder her. Das dauerte etwa 20 Minuten statt einer halben Schicht.
Ergebnis
Die Wiederherstellung der kritischen Systeme ist mit 4 Stunden getestet, das ist kein Ziel mehr, sondern eine in einem Übungsbericht festgehaltene Tatsache. Den Auditoren der Handelskette übergaben wir den Übungsbericht, die Backup-Richtlinie und die Wiederherstellungsverfahren, und es blieben keine Fragen offen.
Alle Konfigurationen der Netzwerkgeräte, also 100 %, werden mit täglichem Verlauf gespeichert. Eine Änderung, die jemand am Dienstag an einem Switch vorgenommen hat, ist am Mittwoch sichtbar und kann bei Bedarf zurückgenommen werden.
Wiederherstellungsübungen finden zweimal im Jahr nach einem vereinbarten Plan statt, jedes Mal mit einem anderen Szenario: Verlust von Servern, ein Ransomware-Angriff, Löschung eines Microsoft-365-Kontos. Der Bericht jeder Übung geht an die Leitung und wird für Audits aufbewahrt.
„Zum ersten Mal haben wir eine Antwort auf die Frage ‚Wie lange würde es dauern, bis wir wieder produzieren?‘, und sie stammt aus einem Bericht, nicht aus jemandes Kopf.“
Was wir in einer ähnlichen Situation raten
- Backups ohne getestete Wiederherstellung sind eine Annahme, kein Schutz. Der erste Test deckt fast immer etwas auf, das Sie nicht wussten.
- Nehmen Sie alles in die Bestandsaufnahme auf, was eine Konfiguration hat, nicht nur Server: Switches, Firewalls, Waagen, Drucker.
- Vereinbaren Sie Backups von Produktionsanlagen schriftlich mit dem Anlagenhersteller, bevor ein Vorfall eintritt.
- Legen Sie das Wiederherstellungsziel gemeinsam mit den Leitern von Produktion und Finanzen fest, nicht in der IT-Abteilung: Sie wissen, was eine Stunde Stillstand kostet.
