Das Backup-System (DBS) der Bank arbeitet seit langem auf der Basis der Veritas NetBackup-Software. Aber die Ausrüstung, auf der sich das SRC drehte, konnte die Last nicht mehr bewältigen.
Ein Signal für ein bevorstehendes Problem war das Fehlen eines Sicherungsfensters. Das SRK hatte keine Zeit mehr, über Nacht Daten von Servern und Workstations zu sichern, und einige der Aufgaben verteilten sich auf die Arbeitszeit. Infolgedessen wurden für einige Ressourcen nicht jeden Tag Kopien erstellt, was das Risiko eines Datenverlusts und einer Verletzung der SLA-Ebene im Falle eines echten Ausfalls verursachte.
Ein weiteres Problem ist der Platzmangel in der Festplattenbibliothek. Um dies irgendwie zu kompensieren, reduzierte der Kunde die Speicherzeit von Backups auf der Festplattenbibliothek von 14 Tagen auf 7 Tage. Dies belastete die ohnehin fast vollständig genutzten Bandbibliothekslaufwerke zusätzlich.
Die Festplattenbibliothek wurde für die Online-Speicherung von Sicherungen verwendet und ermöglichte die parallele Ausführung von Sicherungsjobs mit bis zu 25 Threads gleichzeitig.
Die Bandbibliothek wurde zur Langzeitspeicherung verwendet. Entsprechend den Anforderungen der Regulierungsbehörde müssen verschiedene Dokumente zwischen 1 und 5 Jahren aufbewahrt werden. Bei einer weiteren Erhöhung der Belastung hätte der Kunde Probleme mit der Einhaltung der Vorschriften der Zentralbank. Kein sehr positiver Ausblick.
Veränderung? Reparatur? Erweitern? Aktualisierung?
Als der SRK anfing zu "würgen" und sich der Grenze seiner Produktivität näherte, hatte der Kunde eine Frage - wo ist der "Engpass" des Systems? Da wir an der Wartung des Softwareteils des SRK beteiligt sind, hat uns der IT-Service der Bank gebeten, den Betrieb des Systems zu analysieren.
Die damalige Lösung umfasste folgende Komponenten:
- 1 x NetBackup Solaris x86-Master / Medienserver
- 1 x VMware Backup Media Server;
- 45 x AIX-Medienserver
- 10 x SPARC Solaris-Medienserver;
- 1 x Dell EMC Data Domain 4200-Festplattenbibliothek im VTL-Modus;
- 1 x Oracle SL3000-Bandbibliothek mit 8 LTO6-Laufwerken.
Zum Speichern von Online-Sicherungen wurden mehrere Sicherungsströme von Medienservern und Enterprise-Clients gleichzeitig mithilfe des FC-Protokolls in der Festplattenbibliothek aufgezeichnet. Die Kopien wurden dann über den NetBackup-Master / Medienserver über das FC-Protokoll auf Bandmedien der Oracle SL3000-Bibliothek gesichert.
Die Bank verfügt über 830 SRK-Clients, darunter etwa 730 virtuelle VMware-Maschinen, Enterprise-Clients unter AIX und Solaris sowie physische x86-Server. Das ursprüngliche Volumen einer vollständigen Kopie der gesicherten Daten betrug 115 TB.
Um den Engpass zu ermitteln, haben wir uns die Statistiken zur Ausführung von NetBackup-Jobs, die E / A-Konfiguration des Medienservers, die SAN-Konfiguration, die Auslastung des Bandbibliothekslaufwerks und die Leistung der Festplattenbibliothek angesehen. Zu diesem Zweck hat uns der Kunde Diagnoseberichte zur Verfügung gestellt:
- nbsu - Veritas NetBackup Support Utility;
- NetBackup DeployUtil und Softwarelizenzspezifikation;
- Brocade SAN Health bei SAN-Konfiguration;
- AutoSupport aus der Data Domain Disk Library.
Der nbsu-Bericht - Veritas NetBackup Support Utility enthält umfassende Informationen zur NetBackup-Konfiguration, einschließlich Leistungsinformationen für Sicherungsjobs. Diese Informationen werden im Speicherauszug bpdbjobs - most_columns angezeigt. Sie müssen jedoch in der Lage sein, es zu analysieren und Datums- und Uhrzeitangaben aus dem Epochenformat in ein für Menschen lesbares Format zu konvertieren.
Mit der Ausgabe des Befehls bpdbjobs können Sie die Leistung und Dauer jedes Jobs bewerten. So erhalten Sie ein Bild von der Entsorgung von Bandbibliothekslaufwerken auf einer Zeitskala:
Das nbsu enthält Daten zu den verwendeten Medien, den Aufbewahrungsfristen und deren Verteilung auf die Pools. Unten finden Sie eine Zusammenfassung der Medienaufbewahrungszeiten basierend auf NBU_available_media.txt von nbsu.
Der NetBackup DeployUtil-Bericht schätzt den tatsächlichen Verbrauch von Sicherungssoftwarelizenzen für verschiedene Lizenzmodelle - traditionell und Kapazität. Es wird in MS Excel generiert und enthält eine vollständige Liste der Sicherungsclients, Informationen zur Plattform redundanter Server, zur verwendeten Version von NetBackup und zur Menge der zu sichernden Daten.
Der Brocade SAN Health-Bericht beschreibt die SAN-Topologie, die Zonenkonfiguration und die Verwendung von ISL-Links.
Data Domain AutoSupport „spricht“ über die Konfiguration der Festplattenbibliothek, die Speichereffizienz und die Leistung. Nach dem Parsen haben wir die Muster identifiziert und die Heatmap der Last erhalten:
Als Ergebnis stellte sich heraus, dass das "schwache Glied" die Dell EMC Data Domain 4200-Festplattenbibliothek war, die im VTL-Modus funktionierte.
Wir haben die tatsächlichen Parameter und formalen Anforderungen für das Volumen der Sicherungen und deren Häufigkeit verglichen. Es stellte sich heraus, dass die aktuelle Kapazität und Leistung der Festplattenbibliothek keine Speicherung von betriebsbereiten CDs mit dem erforderlichen Zeitraum ermöglicht. Gerade aufgrund der Einschränkungen der Lesegeschwindigkeit des Dell EMC DD4200 kam es außerdem zu einer Verdoppelung von Informationen auf Bändern in einem Modus nahe dem Grenzwert. Die geringere Leistung von DD beim Lesen ist auf den ressourcenintensiven Prozess der Informationsrehydratisierung zurückzuführen, bei dem die Blockfolge vor der Deduplizierung in ihrer ursprünglichen Form wiederhergestellt wird.
Alles deutete auf die Notwendigkeit hin, die veraltete Festplattenbibliothek zu ersetzen. Der Kunde benötigte Hardware, die 5 bis 6 TB Daten pro Stunde unterstützt, mit zusätzlichen Controllern für Fehlertoleranz und erhöhter Kapazität.
Drei Kandidaten zur Auswahl
Der offensichtlichste Vorschlag in diesem Fall war, Dell EMC Data Domain durch eine neuere Version zu ersetzen. Oder die Veritas NetBackup Appliance könnte eine Alternative sein. (Dies ist weitgehend analog zu Data Domain und in derselben Preiskategorie). Beide Optionen haben jedoch zu Budgetproblemen geführt.
Die dritte Option ist eine Lösung, die auf Servern mit Standardarchitektur mit nativer Deduplizierung basiert. Veritas NetBackup - MSDP (Media Server Deduplication Pool).
Als wir mit einem Angebot zum Kunden kamen, stellte sich heraus, dass er bereits Lösungen in Betracht gezogen hatte, die sowohl auf Veritas NetBackup Appliance als auch auf Dell EMC Data Domain anderer Anbieter basierten, aber der Kunde war sich nicht sicher, wie optimal sie in Bezug auf das Preis-Leistungs-Verhältnis waren. Mit anderen Worten, unsere Version auf Standardservern hat sich als nützlich erwiesen.
Während die Bank Konfigurationen auf Basis der Veritas NetBackup Appliance testete, berieten wir das IT-Team des Kunden über die Besonderheiten der Verwendung der Deduplizierung von Veritas, die Nuancen der Fibre Transport-Technologie für die Übertragung von SRK-Verkehr über ein SAN, Mechanismen zur Erstellung synthetischer Kopien auf der Basis der NetBackup Accelerator-Technologie und schlugen vor, die Überprüfung dieser Technologien zu ermöglichen in das Testprogramm. Basierend auf den Testergebnissen genehmigte der Kunde unsere Lösung auf der Basis von zwei Standard-x86-Servern mit Blockspeicher, da der gesamte Stapel der getesteten Technologien darin implementiert war.
Wir haben auch einen Vorschlag vorbereitet, die Dell EMC Data Domain 4200 durch eine neuere Bibliothek zu ersetzen. Für dieses Projekt wurde das Dell EMC Data Domain 6800 HA-Modell ausgewählt - ein leistungsfähigeres, geräumigeres und produktiveres Modell. Der Vorteil der Lösung war die hohe Verfügbarkeit der Bibliothek in einer Konfiguration mit zwei Controllern. Die Festplattenbibliothek in dieser Konfiguration ist kein einzelner Fehlerpunkt mehr. Wenn der Controller verloren geht, bleibt die Bibliothek über die NPIV-Technologie verfügbar und die Sicherungsjobs werden automatisch fortgesetzt.
Bei der Auswahl einer auf Data Domain basierenden Lösung musste der Kunde die Client-Software des SRK Enterprise-Clients nicht durch einen SAN-Client ersetzen, und der Arbeitsaufwand für die "Einbettung" in die IT-Landschaft war minimal. Dies war ein weiteres Plus für die Dell EMC Data Domain 6800 HA.
Mehr Leistung + DD BOOST
Die Dell EMC Data Domain 6800-Festplattenbibliothek unterstützt den Dual-Controller-Modus (Hochverfügbarkeit) und kann nicht nur mit dem VTL-Protokoll, sondern auch mit DD BOOST arbeiten. Die neue Bibliothek hat eine nutzbare Kapazität von 174 TB ohne Deduplizierung und Komprimierung, während der Dell EMC DD4200 auf 130 TB beschränkt war. Darüber hinaus haben wir die erwartete Geschwindigkeit der Festplattenbibliothek geschätzt und dem Kunden gezeigt, dass sie bei gleichzeitigem Schreiben und Lesen zwischen 5,3 und 8 TB pro Stunde liegen sollte, um seinen Bedarf an Sicherung und Datenübertragung auf Bänder vollständig zu decken.
Die gleichzeitige Unterstützung von DD Boost und VTL erwies sich als nützlich, da bei Kompatibilitätsproblemen der Einsatz von Technologien kombiniert werden konnte. Die Vorteile von DD Boost liegen auf der Hand:
- ;
- ( ) (image);
- DD Boost , - NetBackup;
- NetBackup ;
- .
Da das Ökosystem der Bank auf VMware-Virtualisierung basiert, ist der NetBackup Accelerator für VMware auch eine nützliche Funktion von DD Boost. Diese Technologie verfolgt die geänderten Blöcke von VMware CBT (Changed Block Tracking) und erstellt basierend auf der Deduplizierungstechnologie eine synthetische vollständige Sicherung während einer inkrementellen Sicherung. Gleichzeitig bleibt die Möglichkeit einer detaillierten Wiederherstellung von Dateien und Microsoft-Anwendungen (AD, SQL, Exchange, SharePoint) aus Sicherungen virtueller Maschinen erhalten.
Günstiger, aber nicht besser
Unser Team hat die Kosten für den Wechsel zu verschiedenen Optionen für neue Bibliotheken berechnet. Es stellte sich heraus, dass die Reorganisation des SRK mithilfe von Standardservern mehr Integrationsarbeit erfordern würde. Am unangenehmsten sind jedoch zusätzliche Geschäftsrisiken: Austausch der Client-Sicherungssoftware, Neukonfiguration der Richtlinien und damit mögliche Ausfallzeiten für die kritischsten Server (mehr als 50 AIX / Solaris-Server).
Infolgedessen entschied sich der Kunde für die Migration auf die Dell EMC Data Domain 6800.
Dell EMC Data Domain 6800 war die teurere Alternative. Durch seine Verwendung konnten jedoch die Kosten für die Modernisierung im Allgemeinen gesenkt werden: Die Infrastruktur des SRK wurde nicht geändert, das Risiko von Datenverlust und Nichtverfügbarkeit von Diensten wurde minimiert, und die alte Bibliothek wurde nicht verlassen. Das Hinzufügen einer weiteren DD zum System hat die Speicherkapazität mehr als verdoppelt, was mich in den bereits debuggten Prozessen nicht beeindruckt hat. Für die Aufrechterhaltung der VTL-Unterstützung war keine zusätzliche Konfiguration auf NetBackup-Medienservern und Enterprise-Clients erforderlich. Es war auch nicht erforderlich, die Client-Sicherungssoftware zu ändern, und die Sicherungsjobs konnten problemlos zwischen den Festplattenbibliotheken verteilt werden - der bereits installierten DD4200 und der neuen DD6800. Die SLP-Richtlinien für die Übertragung von Sicherungen auf Bänder bleiben ebenfalls unverändert.Jetzt stammen nur noch Daten aus zwei Festplattenbibliotheken.
Übergang zu einem neuen System
Nachfolgend finden Sie das Ziellösungsschema:
Zum Zeitpunkt der Einführung der neuen Festplattenbibliothek war die Notwendigkeit, die Sicherungskapazität zu erweitern, so dringend, dass die Bank bereit war, die Produktion darauf zu sichern, bis alle Tests abgeschlossen waren. Wir haben es geschafft, den Kunden von diesem Schritt abzubringen. Wir haben alle Überprüfungen im Rahmen des Testprogramms durchgeführt, einschließlich destruktiver Failover-Tests.
Die Implementierung erfolgte schnell. Zwei Wochen später betrieb die Bank eine neue Plattenbibliothek. Infolgedessen erhielt der Kunde für die nächsten Jahre ein System mit einer größeren Kapazität und einer ausreichenden Leistungsspanne. Die Leistungsindikatoren übertrafen sogar die berechneten. Die tatsächliche Leistung des DD 6800 beträgt 8-9 TB pro Stunde (berechnet aus 5,3 TB), und die Kapazität unter Berücksichtigung von Deduplizierung und Komprimierung beträgt etwa 1 Petabyte.
Da wir lediglich die Festplattenspeicherkapazität erweitert und die Architektur nicht geändert haben, sind die Kosten für NetBackup-Lizenzen für die Bank gleich geblieben - an der Datensicherung und der Anzahl der Clients hat sich nichts geändert. Jetzt arbeitet die neue Bibliothek parallel zum Dell EMC DD 4200, aber ihre Kapazität reicht völlig aus, um die alte Bibliothek bei Bedarf problemlos außer Betrieb zu setzen.
Eine eingehende Studie zu Beginn des Projekts in Bezug auf die Arbeitskosten "überwog" die Einführung der neuen Bibliothek. Tatsächlich haben wir ein kleines Beratungsprojekt mit einer Fehleinschätzung möglicher Optionen für 0 Rubel abgeschlossen. Aber wie sich herausstellte, war es nicht umsonst. Dies ermöglichte es dem Kunden, eine Begründung für die Modernisierung zu erhalten, Risiken zu minimieren und eine fundierte Entscheidung zu treffen.
Autor: Alexey Polyakov, Konstrukteur für Datenspeichersysteme, Jet Infosystems