Zwischen Moskau und St. Petersburg: eine Tour durch das Mega-Rechenzentrum Udomlya

Irgendwo in der Mitte zwischen Moskau und St. Petersburg liegt die kleine Stadt Udomlya. Zuvor war er für das Kernkraftwerk Kalinin bekannt. Im Jahr 2019 erschien eine weitere Attraktion in der Nähe - das Udomlya-Mega-Rechenzentrum für viertausend Racks. 



Nach dem Beitritt zum Rostelecom-DPC-Team werden auch DataLine-Spezialisten dieses Rechenzentrum betreiben. Sie haben wahrscheinlich schon etwas über "Udomlya" gehört. Heute haben wir uns entschlossen, Ihnen ausführlich zu erzählen, wie dort alles funktioniert.





Industrielandschaften: 32.000 m² Rechenzentrum und Kernkraftwerk im Hintergrund. Udomlya-Probe vom Frühjahr 2019.



Unter dem Schnitt wurden mehr als 40 Fotos von Rechenzentrums-Engineering-Systemen mit einer detaillierten Beschreibung gesammelt. Eine angenehme Überraschung erwartet diejenigen, die es bis zum Ende schaffen.



Über Logistik

Das Rechenzentrum befindet sich in der Region Tver. Von Moskau nach Udomlya dauert die Straße ungefähr drei Stunden: 1 Stunde 45 Minuten mit dem Sapsan zum Bahnhof Vyshny Volochek. Von dort wird Sie auf vorherige Anfrage mit einem Shuttle zum Rechenzentrum gebracht. Von St. Petersburg nach Vyshny Volochok etwas länger - 2 Stunden 20 Minuten. 



Mit dem Auto erreichen Sie Moskau in 4,5 Stunden, St. Petersburg in 5 Stunden.



Ja, für ein paar Einheiten werden Sie wahrscheinlich nicht hierher wollen. Wenn Sie jedoch ein neues Zuhause für Dutzende von Racks benötigen, lohnt es sich, einen genaueren Blick darauf zu werfen. Es gibt genügend Platz und Strom, auch wenn Sie diese Menge jederzeit verdoppeln möchten. In Moskau, wo nach unserer Erfahrung Rechenzentren bereits in der Bauphase gebucht werden, funktioniert dieser Trick nicht immer.



Darüber hinaus kann der Standort des Rechenzentrums zwischen Moskau und St. Petersburg für die Georedundanz verwendet werden. Wenn sich die Hauptkapazitäten in Moskau oder St. Petersburg befinden, passt das Reservat gut hierher.



Ein Smart-Hands-Team unterstützt Sie bei allen Standardvorgängen vor Ort. Sie empfangen, entpacken und installieren Geräte in Racks, verbinden sie mit Strom und Netzwerk und bieten Fernzugriff auf Geräte. Im Falle einer Fehlfunktion helfen sie bei der Diagnose und ersetzen die ausgefallenen Komponenten.



Die erste Stufe des Rechenzentrums besteht aus 4 Computerräumen oder Modulen mit jeweils 205 Racks. Im ersten Stock befinden sich 2 Maschinenräume und ein Energiezentrum, im zweiten zwei weitere Hallen und ein Kühlzentrum. Mal sehen, wie hier alles funktioniert.



Physische Sicherheit

Das Rechenzentrum belegt einen eigenen Bereich, der ohne Ausweis und Ausweis nicht betreten werden kann. Wer mit dem Auto ankommt, erhält ebenfalls einen Transportpass und kann erst dann das Rechenzentrum betreten. Für diejenigen, die mit einem Pass alles in Ordnung haben, ist das Rechenzentrum rund um die Uhr geöffnet.







Der erste 24-Stunden-Sicherheitsposten ist der Eingang zum Territorium.







Wir gehen weiter und erreichen den Checkpoint direkt am Eingang zum Rechenzentrum.







Sicherheitsbeauftragte treffen nicht nur Kunden und stellen Ausweise aus, sondern überwachen auch rund um die Uhr die Videowand, auf der Bilder aller internen Räumlichkeiten des Rechenzentrums und der angrenzenden Gebiete angezeigt werden.







Netzteil

Strom gelangt von einem Kernkraftwerk zum Rechenzentrum. Das Rechenzentrum wird mit 10 kV für 6 Abwärtstransformatoren versorgt. Weiter gehen bereits 0,4 kV auf zwei unabhängigen Wegen an die Niederspannungsschaltanlage (LVSN). Über das DIBP werden dann IT- und Engineering-Geräte mit Strom versorgt. Für das Rack sind zwei unabhängige Eingänge geeignet, dh 2N-Redundanz. In einem separaten Artikel erfahren Sie mehr darüber, wie alles in Bezug auf die Stromversorgung funktioniert.





Der Strompfad im Rechenzentrum "Udomlya"





Power-Busse, über die Strom von der Niederspannungsschaltanlage zu den Power Panels kommt DIBP Reihen von Niederspannungsschaltanlagen









Trotz der Tatsache, dass ein Kernkraftwerk in der Nähe liegt, gilt in jedem zuverlässigen Rechenzentrum die Hauptstromversorgung als garantiert. Wie Sie wissen, sind in unseren Rechenzentren DGUs dafür verantwortlich, aber hier verwenden sie dynamische USVs (DIBPs). Sie bieten auch eine unterbrechungsfreie Stromversorgung. RIBPs sind N + 1 redundant. 





DIBP-Marke Euro-Diesel (Kinolt) mit einer Leistung von 2 MW. Sie brüllen so, dass es besser ist, nicht ohne Ohrstöpsel hineinzugehen.



Und so funktioniert es DIBP ist eine Kombination aus drei Hauptkomponenten: einem Dieselmotor, einer synchronen elektrischen Maschine und einem kinetischen Energiespeicher mit Rotor. Sie sind alle an der Hauptwelle befestigt.



Die elektrische Maschine kann im Modus eines Elektromotors und eines Generators arbeiten. Wenn der DIBP normal aus der Stadt geliefert wird, ist die elektrische Maschine ein Elektromotor, der den Rotor dreht und kinetische Energie in der Batterie speichert.









Grauer Block im Vordergrund - Synchronmaschine DIBP





Dieselmotor DIBP



Wenn die Stadtstromversorgung ausfällt , schaltet die elektrische Maschine in den Generatormodus. Dank der akkumulierten kinetischen Energie dreht der Rotor die Hauptwelle des DIBP, die elektrische Maschine arbeitet ohne Stadtstromversorgung weiter und die Ausgangsspannung verschwindet nicht. Dies stellt eine unterbrechungsfreie Stromversorgung im Rechenzentrum sicher. Gleichzeitig gibt das DIBP-Steuerungssystem ein Signal zum Starten des Dieselmotors. Die gleiche kinetische Energie des Rotors startet den Diesel und hilft ihm, die Betriebsfrequenz zu erreichen. Der Rotor dreht bis zu einer Minute weiter, und dies reicht aus, damit der Dieselmotor die Kontrolle übernimmt. Nach dem Start dreht der Dieselmotor die Hauptwelle und durch sie hindurch - und die elektrische Maschine (hier ein visuelles VideoDIBP von einem Modus in einen anderen umschalten).



Dadurch geht die Stromversorgung in den Racks auch für eine Sekunde nicht verloren.







Jeder Dieselgeneratortank ist für 3 Stunden ausgelegt. Das Rechenzentrum verfügt außerdem über einen eigenen Kraftstoffspeicher für 80 Tonnen, der die gesamte Last des Rechenzentrums 24 Stunden lang hält. Bei sehr hypothetischen Stromausfällen (ein nahe gelegenes Kernkraftwerk lässt dies nicht zu) bestehen Verträge mit mehreren Auftragnehmern, die bei einem Anruf umgehend Dieselkraftstoff an den Standort liefern. Im Allgemeinen ist alles so, wie es sein sollte.



Jede Woche testen DIBPs den Diesel selbst und starten ihn. Einmal im Monat werden Tests mit einer kurzfristigen Trennung des Stadtnetzes durchgeführt.





Bedienfeld DIBP





Room ShGP und ShbP  





"Magistrali" und "Entkopplung" von Stromkabeln



Maschinenräume

Jedes Modul befindet sich in einem Sicherheitsbereich in einer speziellen Box. Diese zusätzlichen Wände und Dächer schützen den Maschinenraum vor Staub, Wasser und Feuer. Bei der Annahme eines Rechenzentrums wird der Sicherheitsbereich traditionell mit Wasser verschüttet, um auf Undichtigkeiten zu prüfen.





Das Dach des Gebäudes und das eigene Dach des Turbinenraums mit Entwässerungsrohren





Das in das Dach des Sicherheitsbereichs eintretende Wasser gelangt durch Rinnen in die Entwässerungsleitung.



Jede Halle ist bereit, 205 Gestelle mit einer durchschnittlichen Leistung von 5 kW aufzunehmen.







Die Anordnung der Geräte in der Halle ist nach dem Schema der kalten und heißen Korridore organisiert. 





Entlang der Decke sind Bolid-Früherkennungs- und Gaslöschsysteme installiert. 







Rauchmelder befinden sich ebenfalls unter dem Doppelboden. Es reicht aus, zwei beliebige Sensoren auszulösen, und die Feueralarmsirene ertönt, aber wir werden etwas später darüber sprechen.



Unmittelbar entlang der Reihen der Klimaanlagen befinden sich Bandlecksensoren.







Jeder Korridor zwischen den Schaltern wird von Videoüberwachungskameras "aufgenommen".

Auf Wunsch können Racks hinter einem speziellen Zaun (Käfig) platziert und zusätzliche Kameras, ACS- und Bewegungssensoren, Volumensensoren usw. darauf installiert werden. 







Kaltversorgung

Das Udomlya-Rechenzentrum verwendet eine Ethylenglykol-Kühlschaltung. In den Maschinenräumen befinden sich Klimaanlagen, auf dem Dach Kältemaschinen und im zweiten Stock ein Kühlzentrum mit Rohrleitungen, ein Automatisierungs- und Steuerungssystem, Pumpen, Lagertanks usw.



In jedem Raum befinden sich 12 Klimaanlagen, die Hälfte davon mit Dampfbefeuchtern. N + 1 Redundanzschema.



Der kalte Gang hält eine Temperatur von 21-25 ° C und eine Luftfeuchtigkeit von 40-60% aufrecht.





Präzisionsklimaanlagen Stulz CyberAir 3PRO CW 



Um jeden Maschinenraum befinden sich zwei Ringe: eine „kalte“ Leitung, die die Klimaanlage mit gekühltem Ethylenglykol versorgt, und eine „heiße“ Leitung, die erwärmtes Glykol von den Klimaanlagen zu den Kältemaschinen entfernt. Wenn wir den Doppelboden im Korridor öffnen, sehen wir Tropfen aus dem Kühlsystem in die Maschinenräume. 







Der Weg für Ethylenglykol ist wie folgt: Erwärmtes Ethylenglykol von der Klimaanlage gelangt zuerst in die Rücklaufleitung um die Turbinenhalle und dann in den gemeinsamen Ring. Dann geht Ethylenglykol zur Pumpe und dann zum Kühler, wo es auf 10 ° C abgekühlt wird. Nach dem Kühler kehrt das Ethylenglykol über die gemeinsame Ringzuleitung, die Ansammeltanks und einen Ring um das Modul zur Klimaanlage zurück.





Kühlschema für Rechenzentren





So sieht ein  Kühlzentrum aus, durch das 100 m 3 Ethylenglykol fließen .



Graue Tanks sind Ausdehnungsgefäße. Auf dem Weg zum Kühler gelangt erhitztes Ethylenglykol durch sie hindurch. Im Sommer dehnt sich Ethylenglykol aus und benötigt zusätzlichen Platz.







Diese beeindruckenden Kapazitäten sind Lagertanks mit jeweils 5 m 3jeden. Sie sorgen für eine unterbrechungsfreie Kühlung des Rechenzentrums bei einem Ausfall des Kühlers.

Das System wird mit gekühltem Ethylenglykol aus den Tanks versorgt, wodurch die Lufttemperatur am Auslass der Klimaanlage 5 Minuten lang bei 19 ° C gehalten werden kann. Auch wenn außerhalb des Fensters +40 ° C ist.









Pumpen des Kühlsystems





Netztaschenfilter und Abscheidertanks zur Reinigung von Ethylenglykol von mechanischen Partikeln und Luft.



Die dünne rote Linie auf dem Boden unter den Rohren sind Klebebandsensoren. Sie verlaufen entlang des gesamten Umfangs des kalten Zentrums.







Wenn eines der Rohre undicht ist, wird das Ethylenglykol durch das Abflusssystem geleitet und gelangt in einen speziellen Tank im Wasseraufbereitungsraum. Es gibt auch zwei Tanks mit "Ersatz" -Ethylenglykol zur Speisung des Kühlsystems bei großen Undichtigkeiten.







Und über Kältemaschinen. Auf dem Dach befinden sich 5 Kältemaschinen mit N + 1-Redundanz. Die Automatisierung bestimmt jeden Tag abhängig von der Betriebszeit, welcher Kühler in Reserve gestellt werden soll. 





Kältemaschinen der Marke Stulz CyberCool 2 mit einer Leistung von 1096 kW



Kältemaschinen unterstützen drei Modi:



  • Kompressor - ab 12 ° C;
  • gemischt - bei 0–12 ° C;
  • freie Kühlung - von 0 und darunter. In diesem Modus wird das Ethylenglykol mit den Lüftern und nicht mit dem Kompressor gekühlt.






Brandschutz

Das Rechenzentrum verfügt über zwei Gasfeuerlöschstationen. Jeder hat zwei Batterien mit 11 Zylindern: die erste ist die Hauptbatterie, die zweite ist die Reserve.



Das Brandschutzsystem des Rechenzentrums ist an den Server des KKW Kalinin angeschlossen, und bei Bedarf wird die eigene Feuerwehr der Station in wenigen Minuten vor Ort eintreffen.







Abgebildet ist eine Brandmeldeanlage und ein Notausgangsknopf im Maschinenraum. Letzteres wird benötigt, wenn während eines Feueralarms die Türen aus irgendeinem Grund nicht entriegelt wurden: Es unterbricht die Stromversorgung des elektrischen Schlosses.







Telekommunikation

Zwei Autobahnen von Rostelecom gelangen auf unabhängigen Wegen zum Rechenzentrum. Jedes der DWDM-Systeme hat eine Kapazität von 8 Terabit.



Das Rechenzentrum verfügt über zwei Telekommunikationseingänge, die sich in einem Abstand von mehr als 25 Metern voneinander befinden.



Die Betreiber Raskom, Telia Carrier Russia und Consist sind ebenfalls vor Ort, DataLine wird in naher Zukunft erscheinen.  



Von Udomlya aus können Sie einen Kanal nach Moskau, St. Petersburg oder überall in Russland und der Welt bauen. 







Überwachung

Im Überwachungszentrum sind rund um die Uhr diensthabende Ingenieure im Einsatz.



Hier erhalten Sie alle Informationen zu technischen Systemen: klimatische Bedingungen in der Halle, Zustand der Eingänge, DIBP usw.



Alle zwei Stunden machen die Dienstoffiziere eine Runde aller Infrastruktureinrichtungen, um den Zustand der technischen und IT-Ausrüstung zu überprüfen. 







Unterstützende Infrastruktur

Für die Lieferung der Geräte an das Rechenzentrum ist eine Entladezone vorgesehen.







Entladebereich von innen.







Wenn sich Ihr Fitnessstudio im zweiten Stock befindet, nimmt dieser hydraulische Gabelstapler alle Geräte mit.







Schließfächer zum Speichern von Client-Tools und mehr.  







Ein bisschen über den Alltag

Für fest angestellte Mitarbeiter können Sie im Büroteil ausgestattete Arbeitsplätze mieten. Wenn Sie von Zeit zu Zeit vorbeikommen, können Sie in einem temporären Hotel mit allen Annehmlichkeiten direkt auf dem Gebiet des Rechenzentrums übernachten. 

Der Bürobereich hat auch ein Esszimmer und eine Küche.  







Und überall gibt es eine fantastische Natur mit Wäldern, Seen, Flüssen, Angeln und anderen Outdoor-Aktivitäten. Komm und besuche meinen Platz.











Wie versprochen, ein schöner Bonus für diejenigen, die es bis zum Ende geschafft haben. In den ersten sechs Monaten ist die Miete eines Rack-Platzes in Udomla mit einer Leistung von 5 kW kostenlos. Zahlen Sie nur für den tatsächlich verbrauchten Strom. Senden Sie Ihre Bewerbung an request@dtln.ru .



All Articles