"Domino-Effekt" oder Wie wir die Cloud-Software im Rechenzentrum aktualisieren





Die Praxis der Unterstützung und Entwicklung der Cloud im Rechenzentrum von Linxdatacenter bot uns einen interessanten Fall. Ein eher routinemäßiger Vorgang zum Aktualisieren nur eines Elements der Cloud-Plattform führte zu einem umfassenden Upgrade. 



Wir werden Ihnen erzählen, wie alles begann und wie uns der Cloud „Digital Twin“ hilft. 




Sie können vCloud Director nicht einfach übernehmen und aktualisieren



Die Hauptkomponenten der Linxdatacenter-Cloud sind der VMware-Technologie-Stack, der das Kontrollfeld für die virtuelle Infrastruktur von vCloud Director implementiert. Es wird auf der Grundlage von Cisco-Komponenten und der Dienstinfrastruktur wie Windows Active Directory bereitgestellt.



Irgendwann Ende 2020 stießen wir auf ein Problem: vCloud Director 9.5 blieb hinter den Besonderheiten der aktuellen Aufgaben zurück, und wir konnten das Upgrade auf Version 10.1 oder 10.2 nicht in die Hände bekommen. 



Daran war nichts Schreckliches, aber zu Beginn des Jahres 2021 wurde die Flash-Unterstützung im Browser eingestellt.



Um ehrlich zu sein, haben wir nicht erwartet, dass Flash- und Browser-Hersteller diese Grausamkeit begehen. Das heißt, jeder hat schon lange vom Ende des Supports gehört, aber die Nachricht, dass er ab dem 12. Januar physisch aus den Betriebssystemen entfernt und in Browsern vollständig blockiert wird, wurde zu einer sehr unangenehmen Überraschung.



Tatsache ist, dass vCloud Director über zwei Portale Zugriff hat. Der erste ist auf Flash, es war der wichtigste und, sagen wir, der ursprüngliche, mit sehr breiter Funktionalität und vielen Möglichkeiten. 



Die Entwicklung des HTML-Portals begann mit Version 8.20, nur um Flash aufzugeben und schrittweise neue Funktionen hinzuzufügen. Die Version von vCloud Director 9.5, die jetzt an drei unserer Standorte vorgestellt wird, erfüllt die meisten Kundenanforderungen in Bezug auf Funktionen, aber aus Sicht der Verwaltung traten erhebliche Probleme auf.



Als Zwischenlösung ist es uns gelungen, eine Browserkonfiguration zu finden, in der der Flash-Zugriff weiterhin besteht. Und aus Sicht des Managements kontrollieren wir weiterhin die Situation, es gibt keine Probleme. 



Für Benutzer ist die Funktionalität von Version 9.5 jedoch nicht ideal. Benutzer sind bereits daran gewöhnt, in Flash, und ihre Abwesenheit verursacht Unannehmlichkeiten, sie stellen Fragen, „aber bevor diesees war so, aber wie können wir es jetzt tun ? " In 10 Versionen ist die Funktionalität spürbar besser und kommt Flash so nahe wie möglich. Daher wurde entschieden, dass das Aktualisieren von vCloud Director Aufgabe 1 ist.



Schweres Erbe



Die Situation wurde durch die Tatsache erschwert, dass die Cloud-Plattform in unserem Rechenzentrum in St. Petersburg und auf dem Partnerstandort in Warschau unser "Vermächtnis" eines Systemintegrators ist, der sie bereits 2013 bereitgestellt hat. Bis 2017 führte dasselbe Unternehmen Wartungs- und Upgrades vollständig durch, und dann haben wir unser eigenes Fachwissen ausreichend erweitert, um die Kontrolle vollständig selbst in die Hand zu nehmen. 



Bereits eine vorläufige Analyse der Situation hat gezeigt, dass Sie nicht einfach von Version 9.5 auf 10.2 aktualisieren können. Die Erstellung eines schrittweisen Aktualisierungsplans für alle Softwareversionen für verschiedene Cloud-Elemente mit Kompatibilitätsmatrizen dauerte mehr als zwei Wochen. 



Dies ist auf die komplexe Struktur der Abhängigkeiten von Softwareversionen zurückzuführen, deren Logik einen schrittweisen und streng sequentiellen Übergang zu neuen Versionen erfordert, um den reibungslosen Betrieb der gesamten Cloud aufrechtzuerhalten.  



Die Notwendigkeit eines unschuldigen, scheinbar vCloud Director-Upgrades zwang uns, ein vollständiges Plattform-Upgrade zu starten, das mit Windows-Servern mit Active Directory begann und mit allen zusätzlichen Komponenten endete. Um das geplante Upgrade auf die Zielversion in vCloud Director abzuschließen, müssen Sie das gesamte System viermal aktualisieren: Das Upgrade der Cloud-Plattform wird in drei vollständigen Runden oder Warteschlangen durchgeführt. 



Wir werden mit unserer eigenen Cloud in Warschau beginnen, gefolgt von Standorten in St. Petersburg und Moskau. Der geplante Fertigstellungstermin für diese Arbeiten ist der Mai 2021. 



Aber zuerst üben wir den „digitalen Zwilling“ der Cloud. 



Digitaler Zwilling für die Cloud



Der Arbeitsplan für nur einen der Standorte ist einfach kolossal und berücksichtigt die Ressourcen des Projektteams aus drei Spezialisten. 



Diese Einschränkung sowie das Timing, die Anzahl der Zwischenschritte und die Komplexität der Infrastruktur erforderten eine gründliche Prüfung der praktischen Umsetzung des Projekts anhand eines virtuellen Modells - eines digitalen Zwillings der Cloud in einem virtuellen Labor. 



Der Cloud Digital Twin gibt uns Vertrauen in die Qualität der ausgelösten Systemänderungen und in die Erzielung der erwarteten Ergebnisse. Darüber hinaus ist es sehr praktisch, verschiedene Szenarien für den Betrieb der Plattform auf einem solchen Zwilling zu erarbeiten, und im Falle eines Fehlers oder Fehlers haben wir immer die Möglichkeit, mit einer Korrektur von auf einen Schnappschuss der virtuellen Maschine zurückzugreifen Die Fehler. Dies beschleunigt den Aktualisierungsprozess und ermöglicht die Durchführung, ohne die Qualität des gesamten Systems zu beeinträchtigen.



Alle Aktualisierungen werden vorläufig für den digitalen Zwilling durchgeführt. Wenn die Prozesse des schrittweisen Übergangs zu neuen Versionen aller Elemente der Plattform erfolgreich sind, wird der detaillierte Arbeitsplan für die reale Zielinfrastruktur angepasst. 



Der digitale Zwilling repliziert die Plattforminfrastruktur vollständig bis auf die neuesten Komponenten aller Systeme. Alle Änderungen an der realen Infrastruktur - Einstellungen, Konfigurationen, Software-Updates - werden zuerst darauf verarbeitet. 



Wir untersuchen, wie sich alle Elemente zu einem einzigen Bild zusammenfügen, bestimmen die Risiken und berechnen die Zeit, die für diese oder jene Phase der Aktualisierung benötigt wird, auf deren Grundlage ein detaillierter Arbeitsplan erstellt wird. 



Der Zwilling wird mithilfe der Technologie der verschachtelten Virtualisierung hergestellt - der verschachtelten Virtualisierung. Mit VMware können Sie Hypervisoren intern auslösen und auf diesen Hypervisoren auch virtuelle Maschinen ausführen. 



Im Rahmen unserer Warschauer Cloud wurden Ressourcen für die Erstellung eines "Zwillings" zugewiesen und Hypervisoren, virtuelle Maschinen und ein Netzwerk darauf bereitgestellt. Wir haben die Cloud in Übereinstimmung mit allen Betriebssystemversionen, Paketen und Software und Architektur, die sie zu einer einzigen Lösung verbinden.



Dies ist nicht "Strg + C / Strg + V", das heißt, wir haben nicht nur das vorhandene System kopiert: Nur die Hauptkomponenten des Systems und die Logik ihrer Interaktion wurden bis zur Bandbreite der Kommunikationskanäle NGINX reproduziert als Reverse Proxy und "Configs" für die Verkehrsregistrierung.



Der Zwilling "frisst" die Ressourcen der Site in Höhe von 650 US-Dollar pro Monat. Beispielsweise zahlen wir VMware als Dienstanbieter für den vom "Double" verbrauchten RAM, und es sind mehr als 20 virtuelle Maschinen darauf bereitgestellt .



Dies sind erhebliche Kosten, aber andererseits garantiert die sichere schrittweise Ausführung des Upgrade-Skripts einen 100% igen Schutz vor Fehlern und unvorhergesehenen Momenten beim Upgrade auf eine echte Infrastruktur. Mögliche Verluste aufgrund einer Systemstörung sind um Größenordnungen höher als die Kosten für die Wartung des "Zwillings". 



Unsere Erwartungen



Nach vorläufigen Berechnungen wird die Systemressource nach dem Update ausreichen, damit die Plattform auf dem richtigen Niveau arbeitet, ohne dass Änderungen erforderlich sind, ganz zu schweigen von einer globalen Umstrukturierung, zumindest bis Ende 2021. 



Im Rahmen der aktuellen Vorbereitungen für das Update für die meisten wichtigen Softwareversionen von Schlüsselsystemen geht der Indikator für das Ende des Supports auf das Ende des Jahres 2023 zurück. Für eine beträchtliche Anzahl von Systemen ist der Zeitpunkt für die Beendigung der Unterstützung für Softwareversionen bislang nicht deklariert. 



Das heißt, die Gesamtsicherheitsspanne sollte für 1-2 Jahre ausreichen, und wenn wir von einer globalen Erneuerung sprechen, die mit der aktuellen vergleichbar ist, dann legen wir heute den Grundstein für einen noch längeren Zeitraum. 



Der Lebenszyklus einer Cloud-Plattform erfordert immer aktuelle Softwareversionen der wichtigsten Systemelemente. 



Wenn man allgemein über diesen Arbeitsbereich spricht, kann man feststellen, dass die Gesamtkomplexität und der Schmerz einer solchen Umstrukturierung immer davon abhängen, wie schwierig es ist, sie zu starten, da die Kompatibilität von Versionen nicht mehr verfolgt wird wie vielfältig der „Zoo“ verschiedener Elemente, Technologien, Protokolle und der Software ist, auf der die Cloud basiert.



Was sollen wir hier anstreben? Auf dem Weg zur Vereinheitlichung: Das gestartete globale Update wird letztendlich unser Leben erheblich vereinfachen und die Zuverlässigkeit der gesamten Cloud verbessern. 



Wir werden in der Lage sein, uns vollständig vom Erbe des Integrators zu lösen, der all diese Infrastruktur bereitgestellt hat. Wir werden keine blinden Flecken und potenziellen Schwachstellen in der Cloud-Wertschöpfungskette in Form von Verfügbarkeit, Flexibilität der Einstellungen, Zuverlässigkeit und anderen Parametern haben, die die SLA beeinflussen. 



Sobald alle Cloud-Komponenten an allen Standorten mit denselben Softwareversionen ausgeführt werden, werden alle nachfolgenden Upgrades, Erweiterungen und Integrationen zu einer kompetenten Verwaltung der technischen Komponente, Routine und nicht zu einem globalen administrativen und technischen Projekt. 



Wir planen, in Zukunft den digitalen Zwilling der Cloud zu nutzen. Es ist ein praktisches Tool, mit dem der Infrastruktur-Upgrade-Prozess sicherer und schneller wird.



All Articles