Clever Geek Handbook

Kopieren von Volumes in den Speicher über einen Linux-Server mit XCOPY

Es kommt vor, dass Sie eine vollständige Kopie eines Volumes innerhalb eines Speichersystems (DSS) erhalten müssen, nicht einen Snapshot, einen Klon, sondern ein vollwertiges Volume. Das Speichersystem erlaubt es Ihnen jedoch nicht immer, dies in sich selbst auf eigene Faust zu tun. Es scheint, als ob die einzige Möglichkeit darin besteht, über den Server zu kopieren. Gleichzeitig wird die gesamte Datenmenge über den Server selbst, das Netzwerk zum Speichersystem und die Speicherports übertragen, wobei alle diese Komponenten geladen werden. Es gibt jedoch SCSI-Befehle, mit denen Sie alles innerhalb des Speichersystems selbst ausführen können. Wenn Ihr System VAAI von VMware unterstützt, wird dies zu fast 100% vom Befehl XCOPY (EXTENDED COPY) unterstützt, der dem Array mitteilt, was und wo kopiert werden soll, ohne dies zu berücksichtigen Prozessserver und Netzwerk.



Es scheint, als sollte alles einfach sein, aber ich habe nicht sofort fertige Skripte gefunden, sondern musste das Rad neu erfinden. Linux wurde für das Server-Betriebssystem ausgewählt, und der Befehl ddpt (http://sg.danny.cz/sg/ddpt.html) wurde als Kopiertool ausgewählt. Mit dieser Kombination können alle Volumes von jedem Betriebssystem kopiert werden, da das Kopieren auf der Speicherseite blockweise erfolgt. Da Block für Block kopiert werden muss und die Anzahl der Blöcke gezählt werden muss, wurde der Befehl blockdev verwendet, um die Anzahl solcher Iterationen zu zählen. Die maximale Blockgröße wurde empirisch ermittelt, wobei ein großer Block ddpt tatsächlich nicht funktionierte. Das Ergebnis ist das folgende ziemlich einfache Skript: 



#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done


Lass uns einen kleinen Check machen! Nun, wie klein, 1 TB Datei wurde von md5sum nicht schnell erstellt und überprüft :) 



root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s


Was in diesem Moment auf dem Speichersystem geschah: Fahren wir



Bild

mit Linux fort. 



root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#




Alles hat geklappt, aber testen und verwenden Sie auf eigene Gefahr und Gefahr! Zunächst ist es besser, Schnappschüsse als Quellvolume zu erstellen.


More articles:


All Articles