Lass uns reden über:
- rsync (Remote-Synchronisation)
- DRBD (Distributed Replicated Block Device)
- DRBD LVM
- DRBD + ThinLVM
- ZFS (Zettabyte File System)
rsync . .
Bei rsync (Remote-Synchronisation) geht es streng genommen überhaupt nicht um Backups. Es ist ein Programm, mit dem Sie Dateien und Verzeichnisse an zwei Orten synchronisieren und gleichzeitig den Datenverkehr minimieren können. Die Synchronisierung kann sowohl für lokale Ordner als auch für Remoteserver durchgeführt werden.
Rsync wird häufig für Backups verwendet. Wir haben dieses Dienstprogramm verwendet, als die Websites einfacher waren und es deutlich weniger Clients gab.
Rsync hat einen ziemlich guten Job gemacht, aber das größte Problem hier ist die Geschwindigkeit. Das Programm ist sehr langsam, es lädt das System sehr. Und mit der Zunahme der Daten beginnt es noch länger zu funktionieren.
Rsync kann als Backup-Technologie verwendet werden, jedoch für sehr kleine Datenmengen.
LVM (Logical Volume Manager) - Logischer Volume Manager
Natürlich wollten wir Backups mit weniger Last schneller machen, deshalb haben wir uns für LVM entschieden. LVM erlaubt Snapshots sogar mit ext 4. Auf diese Weise können wir Backups mit einem LVM-Snapshot erstellen.
Wir haben diese Technologie nicht lange genutzt. Obwohl das Backup schneller als rsync war, war es immer voll. Wir wollten nur die Änderungen kopieren, also sind wir zu DRBD gewechselt.
DRBD
Mit DRBD können Sie Daten von einem Server auf einen anderen synchronisieren. Außerdem werden nur Änderungen synchronisiert, nicht alle Daten. Dies beschleunigt den Prozess erheblich!
Und auf der Seite des Ladens könnten wir LVM verwenden und Schnappschüsse machen. Ein solches System existiert schon sehr lange und existiert jetzt auf einigen Servern, für deren Übertragung wir noch keine Zeit hatten.
Selbst mit dieser Methode gibt es jedoch immer noch einen Nachteil. DRBD lädt das Festplattensubsystem während der Synchronisation stark ... Dies bedeutet, dass der Server langsamer läuft. Infolgedessen störte die Sicherung die Arbeit der Hauptdienste, dh der Benutzerseiten. Wir haben sogar versucht, nachts Backups zu erstellen, aber manchmal hatten sie einfach keine Zeit, über Nacht fertig zu werden. Ich musste manövrieren, alternative Backups. Zum Beispiel läuft heute ein Teil der Server, dann ein anderer. Wir haben Backups in einem Schachbrettmuster verteilt.
Darüber hinaus ist DRBD stark von der Netzwerkgeschwindigkeit abhängig und wirkt sich auf die Leistung des Servers aus, von dem aus und auf dem die Sicherung durchgeführt wird. Es ist notwendig, nach einer neuen Lösung zu suchen!
Dünnes LVM
Zu diesem Zeitpunkt stellte sich das Unternehmen die Aufgabe, 30-Tage-Backups zu erstellen, und wir entschieden uns, auf thinLVM umzusteigen. Dies hat das Hauptproblem nicht gelöst! Wir haben nicht einmal erwartet, dass eine so hohe Leistung des Dateisystems erforderlich ist, um dünne Snapshots zu unterstützen. Diese Erfahrung war völlig erfolglos und wir haben zugunsten regelmäßiger dicker LVM-Schnappschüsse aufgegeben.
ThinLVMs wurden wirklich einfach nicht für unseren Zweck entwickelt. Ursprünglich für kleine Laptops und Kameras gedacht, aber nicht für das Hosting.
Fortsetzung der Suche ...
Es wurde beschlossen, ZFS auszuprobieren.
ZFS
ZFS ist ein anständiges Dateisystem mit vielen integrierten Extras. Was mit ext 4 erreicht wird, indem auf LVM installiert wird, ein DRBD-Gerät angeschlossen wird, und mit ZFS ist dies die Standardeinstellung. Das Dateisystem selbst ist sehr zuverlässig. Wir sollten auch die Copy-on-Write-Funktion erwähnen. Mit dieser Technologie können Sie sehr sorgfältig mit Daten umgehen.
Mit ZFS können Sie Snapshots erstellen, die in ein Geschäft kopiert werden können, und Sicherungen automatisieren. Keine Notwendigkeit, etwas zu erfinden!
Die Migration zu ZFS war sehr vorsichtig. Zuerst haben wir einen Stand geschaffen, an dem wir einfach mehrere Monate lang getestet haben. Insbesondere haben wir versucht, Probleme mit Ausrüstung, Stromversorgung, Netzwerk und Festplattenfülle zu reproduzieren. Durch strenge Tests konnten wir Engpässe feststellen.
Ein schmerzhaftes Thema von ZFS ist die Festplattenfülle. Wir konnten dieses Problem lösen, indem wir leeren Raum reservierten. Wenn die Festplatte voll ist, werden Maßnahmen ergriffen, um den Server zu entladen und Speicherplatz zu bereinigen.
Nach dem Testen haben wir schrittweise begonnen, neue Server einzuführen und alte Server an ZFS zu übertragen. Keine Probleme mehr mit Backups! Sie können 30- oder 60-Tage-Backups erstellen, auch wenn diese stündlich gesichert werden. In jedem Fall wird der Server nicht übermäßig belastet.
Sammelte alle Daten in den folgenden Tabellen, um Backups mit verschiedenen Technologien zu vergleichen.
Was als nächstes geschah?
Es ist geplant, ZFS auf Version 2 von OpenZFS 2.0.0 zu aktualisieren . im Jahr 2021. Wir bereiten einen Übergang mit allen Chips vor, die mit der Veröffentlichung Anfang Dezember angekündigt wurden.
So wie das ist!
Dies ist der Weg, den wir für uns selbst gewählt haben! Lösen Sie ähnliche Probleme? Wir freuen uns, wenn Sie Ihre Erfahrungen in den Kommentaren teilen! Wir hoffen, dass sich der Artikel als nützlich erwiesen hat. Wenn Sie plötzlich auch vor der Aufgabe stehen, Backups mit den in Linux integrierten Dienstprogrammen zu erstellen, hilft Ihnen unsere Geschichte dabei, eine geeignete Lösung zu finden.