Wie arbeiten Astronomen normalerweise? Sie vereinbaren mit dem Observatorium das Datum und die Uhrzeit der Nutzung des Teleskops und führen am festgelegten Tag Beobachtungen durch und laden die gesammelten Daten hoch. Aufgrund der Tatsache, dass Teleskope immer nützlichere Informationen generieren, funktionieren herkömmliche Methoden nicht mehr. Und Wissenschaftler haben mithilfe von Cloud-Technologien einen Ausweg gefunden. Cloud4Y erklärt, wie Stargazer jetzt funktionieren.
Das Vera Rubin Observatorium in Chile kann 20 Terabyte Daten pro Nacht sammeln. Dies ist vor allem auf die gute Lage zurückzuführen. Das Forschungs-Weitwinkel-Spiegelteleskop befindet sich auf einer Höhe von 2715 m auf dem Gipfel des El Peñon (dies ist Nordchile). Das Design des Teleskops ist insofern einzigartig, als es ein sehr weites Sichtfeld hat: 3,5 Grad Durchmesser oder 9,6 Quadratgrad. Im Vergleich dazu sind sowohl die Sonne als auch der Mond von der Erde aus als Objekte sichtbar, die horizontal 0,5 ° oder 0,2 Quadratgrad betragen. In Kombination mit der großen Öffnung ermöglicht dies eine extrem hohe Sammelkraft. Mit anderen Worten, das Teleskop kann gleichzeitig Daten aus weiten Bereichen des Himmels erfassen. Das erste Licht "Engineering" soll im Mai 2021 empfangen werden, das gesamte System - im Oktober 2021 und im Oktober 2022, um den vollen Betrieb aufzunehmen
20 Terabyte entsprechen in etwa der Sloan Digital Sky Survey , die die detailliertesten 3D-Karten des Universums bietet und alle Daten von 2000 bis 2010 sammelt. Aber das ist nicht alles. Das Square Kilometer Array-Projekt , das 2020 seine Arbeit aufnehmen soll, wird dieses Volumen um den Faktor 100 auf 2 Petabyte pro Tag erhöhen (wenn es 2028 die maximale Kapazität erreicht). Und die Geräte der nächsten Generation (ngVLA) werden laut den Leitern der Observatorien Hunderte von Petabyte erzeugen.
Es ist nicht einfach, solche Datenmengen zu verarbeiten. Sie können sie nicht einfach herunterladen und irgendwo speichern. Die Schaffung von Unterstützung für lokale Computerressourcen für die Arbeit ist zu teuer. Nach einigen Schätzungen könnten sich die Kosten für die Organisation einer IT-Infrastruktur von Grund auf und die Wartung des zur Unterstützung des Vera Rubin-Observatoriums erforderlichen Personals über einen Zeitraum von 10 Jahren auf 150 Millionen US-Dollar belaufen. So wandten sich Astronomen aus Chile wie viele ihrer Kollegen der Wolke zu. Und hier sind die Schlussfolgerungen, die sie bereits gezogen haben.
Investitionen in Rechenleistung sind gut für die Wissenschaft
Es reicht nicht aus, die Daten in die Cloud zu verschieben, Forscher müssen in der Lage sein, mit ihnen zu interagieren. Anstelle des traditionellen Arbeitsmodells laden Astronomen beim Übertragen von Daten auf ihre Computer jetzt ihren Code herunter, um mit den in der Cloud verfügbaren Daten zu arbeiten. Dank der Verfügbarkeit des Online-Zugriffs auf die wissenschaftliche Plattform des Observatoriums (Jupyter-Notizbücher zum Programmieren in Python, Julia, R usw., APIs (Application Programming Interfaces) zum Analysieren, Anzeigen und Suchen von Daten) können Benutzer Python-Code für die Fernanalyse von allem schreiben und ausführen der Beobachtungsdatensatz auf Servern, die im Nationalen Zentrum für Supercomputing-Anwendungen in Urbana, Illinois, gehostet werden. Und Sie müssen nichts auf Ihren Computer herunterladen.
In anderen Bereichen der Wissenschaft ist dieser Ansatz sehr effektiv. Zum Beispiel hat das Pangeo-Projekt, eine Big-Data-Analyseplattform für Geowissenschaften, Petabyte an Klimadaten öffentlich und berechenbar gemacht, was den Forschern die Zusammenarbeit erleichtert.
Praktisch auch bei der Arbeit ohne Big Data
Evelina Momcheva, die mit einem Weltraumteleskop in Baltimore, Maryland, arbeitet, sagt, sie sei auf Fälle gestoßen, in denen Projekte, die nur mittelgroße Daten verwenden, vom Cloud Computing profitiert haben. Schon allein deshalb, weil die Forscher auf Ressourcen zugreifen konnten, die der Leistung ihrer Laptops weit überlegen waren. Und was wichtig ist, zu relativ geringen Kosten. Einige Cloud-Anbieter bieten kostenlose Ressourcen für Bildungszwecke an.
Im Jahr 2015 hatten Momcheva und ihre Kollegen nur einen 8-Kern-Server für ihr 3D-HST-Projekt, der Daten vom Hubble-Weltraumteleskop analysierte, um die Kräfte zu verstehen, die Galaxien im fernen Universum formen. Die Ressourcen waren knapp und sie wandten sich den Wolken zufünf 32-Kern-Maschinen nehmen. Warum? Aber nach vorläufigen Berechnungen stellte sich heraus, dass die Analyse auf unseren eigenen Maschinen mindestens drei Monate dauern würde. Bei einem Cloud-Anbieter dauerte es fünf Tage und weniger als 1.000 US-Dollar. “
Der Preis ist nicht alles
Streitigkeiten darüber, ob Cloud-Services im Vergleich zu ihrer eigenen IT-Infrastruktur billiger sind, wenn sie nachlassen, werden nicht bald eintreten. Beide Seiten haben starke Argumente. Ein Bericht des US-Energieministeriums Magellan über Cloud Computing aus dem Jahr 2011 kam beispielsweise zu dem Schluss, dass die Rechenzentren des Ministeriums im Allgemeinen billiger sind als die Anmietung von Cloud-Diensten. Seitdem ist jedoch viel Wasser unter die Brücke geflossen, und die Technologien haben sich dramatisch verändert.
Die Optimierung der Arbeit mit Cloud-Diensten kann laut der University of Washington diese Unterschiede ausgleichen. Die Forscher konnten nach einigen Monaten Arbeit und Kostenoptimierung nachweisen, dass das 43-Dollar-Cloud-Experiment nur 6 US-Dollar kostete. Sie errechneten auch, dass das Erledigen derselben Aufgaben in vergleichbarer Zeit mit eigenen Ressourcen das Team etwa 75.000 US-Dollar (für Hardware, Strom und Personallöhne) kosten würde, während die Server drei Jahre lang zu 87% aktiv sein mussten.
Zeitersparnis beeinflusst oft die Entscheidungsfindung. Wenn Ihre IT-Infrastruktur neun Monate für die Verarbeitung Ihrer Daten benötigt und die Cloud nur einen Monat und für ungefähr das gleiche Geld benötigt, wird dieser Unterschied von acht Monaten sehr interessant.
Astronomen sagen, sie hätten keine Lust, zur Seite zu gehen. Im Gegenteil, die Nutzung der lokalen Infrastruktur für alltägliche Aufgaben und "Clouds" - für komplexes Computing - ist für viele Forschungszentren das optimale Modell.
Datenkonsolidierung eröffnet neue Horizonte
Eine andere Sache, die Astronomen sehr lieben, ist die Fähigkeit, mehrere große Datenmengen zu kombinieren. Ihre Kombination kann einige Informationen liefern, die nicht für jeden Satz einzeln offensichtlich wären. Das heißt, je mehr Informationen Astronomen zusammenbringen, desto nützlicher wird es.
Inspiriert vom NIH Data Commons ProjectDort, wo Wissenschaftler biomedizinische Daten, Verhaltensdaten und Software speichern und austauschen, planen die Forscher die Erstellung der Astronomy Data Commons. Wissenschaftler der University of Washington haben bereits einen Datensatz namens Zwicky Transient Facility veröffentlicht, der 100 Milliarden Beobachtungen von ungefähr 2 Milliarden Himmelsobjekten enthält. Wenn diese Arbeit nützlich ist, können andere Astronomen nachziehen. Dann entsteht ein ganzes astronomisches Ökosystem, von dessen Möglichkeiten nur geträumt werden kann.
Es reicht nicht aus, in die Cloud zu gehen. Sie müssen wissen, wie man sie verwendet
Um mit Daten in der Cloud arbeiten zu können, müssen Benutzer ein Konto erstellen, eine der vielen Optionen für die Interaktion mit Informationen auswählen und ihre eigene (häufig selbst geschriebene oder benutzerdefinierte) Software installieren. Konfigurieren Sie außerdem alles so, dass die Software auf mehreren Computern gleichzeitig ausgeführt werden kann. Fehler sind unvermeidlich und können Forscher teuer kosten und jegliches Interesse an Cloud-Technologie entmutigen. Es gab einen Fall, in dem unfähige Doktoranden ein paar tausend Stunden Prozessorzeit für nichts "verbrannten". Daher wird Wissenschaftlern empfohlen, zunächst „an Katzen“ zu trainieren und kleine Pilotprojekte mit ihrer eigenen Infrastruktur zu starten.
Es ist auch wichtig, die Sicherheitsanforderungen nicht zu vergessen. Obwohl Datenschutz und Sicherheit in der Cloud besser sind als lokale Ressourcen, kann das Einrichten einer Cloud-Infrastruktur eine Herausforderung sein. Und der Fehler eines unerfahrenen Programmierers führt dazu, dass Ihre Daten der ganzen Welt zur Verfügung stehen. Bei der Nutzung unseres eigenen IT-Parks werden solche Probleme strenger kontrolliert. In der Cloud ist es einfach, Fehler zu machen, wenn Sie nicht auf die Empfehlungen der technischen Experten des Anbieters hören.
Im Allgemeinen ist der Wunsch der Astronomen, Wolkenressourcen zur Untersuchung von Sternensystemen, zur Erstellung von Modellen für die Bildung von Universen und zur Speicherung von "Datenseen" zu verwenden, verständlich. Heavy Computing wurde lange Zeit an Geräte in Rechenzentren ausgelagert. Cloud-Plattformen haben Wissenschaft und Wirtschaft stark verändert und sind zu einem wichtigen Werkzeug für die Entwicklung des menschlichen Denkens geworden. Die Hauptsache ist, dieses Tool richtig zu verwenden.
Was sonst noch im Cloud4Y- Blog interessant ist
→ Do it yourself oder ein Computer aus Jugoslawien
→ Das US-Außenministerium wird eine eigene große Firewall erstellen
→ Künstliche Intelligenz singt über Revolution
→ Wie ist die Geometrie des Universums?
→ Ostereier auf topografischen Karten der Schweiz
Abonnieren Sie unseren Telegrammkanal , um keinen weiteren Artikel zu verpassen. Wir schreiben nicht mehr als zweimal pro Woche und nur geschäftlich.