Die Apache Software Foundation hat eine neue Version ihrer Plattform veröffentlicht - Apache Hadoop 3.3.0 . Eineinhalb Jahre sind seit dem letzten Update vergangen. Die Plattform selbst ist ein Tool zum Organisieren der verteilten Verarbeitung großer Datenmengen mit MapReduce. Hadoop enthält eine Reihe von Dienstprogrammen, Bibliotheken und Frameworks zum Entwickeln und Ausführen verteilter Programme, die auf Clustern von Tausenden von Knoten ausgeführt werden können.
Für Hadoop wurde ein spezielles Dateisystem Hadoop Distributed File System (HDFS) erstellt, das die Datensicherung und Optimierung von MapReduce-Anwendungen ermöglicht. HDFS dient zum Speichern großer Dateien, die auf einzelne Knoten eines Rechenclusters verteilt sind. Dank seiner Fähigkeiten wird Hadoop von den größten Unternehmen und Organisationen eingesetzt. Google hat Hadoop sogar das Recht eingeräumt, Technologien zu verwenden, die Patente im Zusammenhang mit der MapReduce-Methode betreffen.
Im Allgemeinen treffen wir Apache Hadoop 3.3.0 .
Hier ist eine Liste der wichtigsten Änderungen in der neuen Version:
- Unterstützung für ARM-basierte Plattformen (Selectel verfügt übrigens über ARM-Server; hier ist ein Link, wenn Sie es versuchen möchten).
- Protobuf (Protocol buffers) 3.7.1. Protobuf .
- S3A Delegation Token (), 404, S3guard .
- ABFS.
- Java 11.
- Tencent Cloud COS, COS.
- DNS Resolution, DNS . , .
- YARN (Yet Another Resource Negotiator) .
- Unterstützung für die Planung von OPPORTUNISTIC-Containern für die Ausführung über den Ressourcenmanager hinzugefügt .
Aufgrund der Tatsache, dass sich Hadoop aktiv weiterentwickelt, wächst der Markt für darauf basierende Lösungen rasant. Wenn das Marktvolumen im Jahr 2019 etwa 1,7 Milliarden US-Dollar betrug, wird es laut Experten bis 2024 9,4 Milliarden US-Dollar erreichen.
Jetzt steht Hadoop in Bezug auf die Anzahl der Änderungen an erster Stelle unter den Apache-Repositories. Die Plattform-Codebasis umfasst ungefähr 4 Millionen Zeilen. Die größten Repositories sind Netflix, Twitter, Facebook.