Analytik
AWS Lake Formation Neue Funktionen (Vorschau)
Für die Vorschau stehen neue AWS Lake Formation- Funktionen wie Transaktionen, Sicherheit auf Zeilenebene und Leistungsverbesserungen zur Verfügung. Die Funktionalität funktioniert über neue, offene und öffentliche APIs für die Aktualisierung und den Zugriff auf Data Lakes.
Transaktionen werden mithilfe von "geregelten Tabellen" implementiert, einem neuen Tabellentyp, der auf Amazon S3 basiert und ACID-Transaktionen unterstützt. Mit Transaktionen können Sie Datentransformationsskripte (ETL) vereinfachen und verschiedenen Benutzern ermöglichen, Datensätze in verschiedenen verwalteten Tabellen gleichzeitig und mit Sicherheit hinzuzufügen, zu löschen und zu ändern.
AWS Lake Formation komprimiert und optimiert den verwalteten Tabellenspeicher automatisch im Hintergrund, um die Leistung beim Abfragen von Daten zu verbessern.
Weitere Details hier
Rotverschiebung
RA3.xlplus-Knoten und zusätzliche Ankündigungen für Amazon Redshift
RA3.xlplus ist der dritte und kleinste Knotentyp in der RA3-Familie. Mit RA3 können Sie Rechenleistung und Speicher getrennt skalieren und so die Rechenoptionen für Amazon Redshift-Cluster erweitern.
Weitere Details hier
Möglichkeit zum Verschieben eines Clusters zwischen Verfügbarkeitszonen (AZ)
Mit der Funktion "Cluster verschieben" wird ein Cluster in einem Schritt in ein anderes AZ verschoben, ohne dass Änderungen an der Anwendung vorgenommen werden müssen. Wenn ein Cluster in eine andere AZ verschoben wird, hat der neue Cluster denselben Endpunkt, sodass Anwendungen weiterhin unverändert ausgeführt werden können. Die Funktion ist kostenlos und für RA3-Cluster verfügbar.
Weitere Details hier
Automatische Tabellenoptimierung
Die automatische Tabellenoptimierung überwacht kontinuierlich die Interaktion von Abfragen mit Tabellen und verwendet maschinelles Lernen, um die besten Sortier- und Verteilungsschlüssel auszuwählen und die Abfrageleistung im gesamten Cluster zu optimieren.
Weitere Details hier
Datenaustausch zwischen Amazon Redshift-Clustern (Vorschau)
Eine neue Funktion zur gemeinsamen Nutzung von Daten in Amazon Redshift steht zum Testen zur Verfügung, mit der Sie Daten sicher und einfach in Echtzeit zwischen Redshift-Clustern austauschen können. Durch die gemeinsame Nutzung von Daten können Sie die Datenverarbeitung vereinfachen, die Produktivität steigern und die Kosten senken. Alles, was Sie in einem einzelnen Redshift-Cluster gewohnt sind, ist jetzt in mehreren Clustern verfügbar, während Sie an Daten arbeiten.
Durch die Nutzung eines verwalteten Datenspeichers, der von den Rechenknoten der RA3-Familie getrennt ist, ist ein sofortiger, leistungsstarker Zugriff auf Daten aus mehreren Clustern möglich, ohne dass Daten kopiert oder verschoben werden müssen. Das Lesen veralteter Daten ist ebenfalls ausgeschlossen. Alle Cluster arbeiten mit den neuesten Änderungen an einer einzigen, stets aktuellen Kopie der Daten. Für die gemeinsame Nutzung von Daten zwischen Amazon Redshift-Clustern fallen keine zusätzlichen Kosten an.
Weitere Details hier
Amazon Redshift und Amazon RDS für MySQL und Amazon Aurora MySQL-Datenbanken für Verbundabfragen (Vorabversion)
Mit Amazon Redshift Federated Queries können Sie Daten aus Transaktionsdatenbanken für BI und Berichtsanwendungen für Betriebsanalysen verbinden. Das Amazon Redshift Optimizer entlädt und verteilt einen Teil der Berechnungen an entfernte Datenbanken, um die Leistung zu beschleunigen, indem der vom Netzwerk übertragene Datenverkehr reduziert wird. Heute erweitern wir die Funktionen für Verbundabfragen von Amazon RDS für MySQL und Amazon Aurora für MySQL. Die Funktion steht zur Vorschau zur Verfügung.
Integrierte JSON-Unterstützung (Vorschau)
Heute führen wir in Amazon Redshift native JSON- und halbstrukturierte Datenunterstützung für eine Vorschau ein. Für die Speicherung wird ein neuer Datentyp 'SUPER' verwendet, mit dem Sie halbstrukturierte Daten in Redshift-Tabellen speichern können. Unterstützung für die PartiQL- Abfragesprache zum Abfragen und Verarbeiten solcher Daten wurde hinzugefügt .
Weitere Details hier
Amazon EMR Studio Vorschau
Amazon EMR Studio, eine Jupyter-basierte IDE, wurde angekündigt. Es unterstützt die Authentifizierung bei SSO-Anbietern in Unternehmen und ermöglicht Analysten und Dateningenieuren die Entwicklung analytischer Anwendungen und Datenverarbeitungssysteme in R, Python, Scala und PySpark. Spark UI und YARN Timeline Service sind ebenfalls verfügbar, um das Debuggen zu erleichtern. EMR Studio-Laptops können auf vorhandenen EMR-Clustern ausgeführt werden oder neue mit sofort einsatzbereiten CloudFormation-Vorlagen für EMR starten.
Details hier
Amazon EMR auf Amazon EKS
Mit der neuen EMR-Bereitstellung ( Amazon EMR on Amazon EKS ) können Kunden die Erstellung und Verwaltung von Open Source-Big-Data-Frameworks mit Amazon EKS automatisieren. Kunden können Spark-Anwendungen jetzt in Verbindung mit anderen Anwendungstypen innerhalb desselben EKS-Clusters ausführen und so die Ressourcennutzung verbessern und das Infrastrukturmanagement vereinfachen.
Amazon EMR packt Ihre Anwendung automatisch in einen Big-Data-Container und bietet sofort einsatzbereite Konnektoren für die Integration mit anderen AWS-Diensten. Anschließend stellt EMR die Anwendung im EKS-Cluster bereit und verwaltet die Protokollierung und Überwachung. Mit EMR auf EKS können Sie die dreifache Leistung erzielenVerwenden der in EMR enthaltenen leistungsoptimierten Spark-Laufzeit im Vergleich zum Standard-Apache Spark auf EKS.
Weitere Details hier
Vernetzung
VPC Reachability Analyzer
Mit dem neuen VPC Reachability Analyzer-Dienst können Sie die Netzwerkverfügbarkeit zwischen zwei Verkehrspunkten (Endpunkten) diagnostizieren, ohne Netzwerkpakete senden zu müssen. Der Dienst liest die Konfiguration aller Ressourcen in der VPC und ermittelt anhand der automatischen Argumentation die verfügbaren Netzwerkverkehrspfade. Es analysiert alle möglichen Verkehrspfade innerhalb des Netzwerks, ohne Netzwerkpakete zu senden. Weitere Informationen zur Funktionsweise automatisierter Analysealgorithmen finden Sie in der Sitzung re: Invent oder lesen Sie dieses Dokument .
Weitere Details hier
AWS Transit Gateway Connect
Overlay-SD-WANs (Software Defined Wide Area Networks) werden verwendet, um Büros oder Rechenzentren über das öffentliche Internet zu verbinden. Die Cloud-Infrastruktur muss jetzt mit denselben Netzwerken verbunden sein. AWS Transit Gateway wird häufig am Rand des Netzwerks verwendet, um die Netzwerke mit dem AWS-Backbone zu verbinden.
Mit der zusätzlichen AWS Transit Gateway Connect-Funktionalität können Sie Ihre SD-WAN-Infrastruktur auf einfache Weise in die AWS Cloud erweitern. Anstelle mehrerer IPSec-VPN-Tunnel zwischen Transit Gateway- und SD-WAN-Netzwerkgeräten verwendet Transit Gateway Connect GRE-Tunnel. Es unterstützt auch dynamisches BGP-Routing, ist in den AWS Transit Gateway Network Manager-Überwachungsdienst und eine Reihe von Partnerlösungen integriert .
All dies vereinfacht das Netzwerkdesign, verbessert die Leistung und erleichtert die Erweiterung von SD-WANs auf AWS.
Weitere Details hier
IGMP-Unterstützung in AWS Transit Gateway
AWS Transit Gateway führt die IGMP-Unterstützung (Internet Group Management Protocol) ein, die die Verwaltung von Anwendungen erleichtert, die IP-Multicast verwenden.
Kunden haben zuvor AWS Transit Gateway verwendet, um Multicast-Anwendungen in der Cloud auszuführen. Mit der IGMP-Unterstützung ist es jetzt einfacher, die Multicast-Gruppenmitgliedschaft zu skalieren und zu verwalten. Sie müssen keine statischen Multicast-Gruppen, Quellen und Senken mehr konfigurieren. Transit Gateway fügt Gruppenmitglieder mithilfe von IGMP automatisch hinzu und entfernt sie.
IGMP ist ein offener Standard, auf den sich viele Multicast-Anwendungen verlassen. Es ist jetzt einfacher, sie in die Cloud zu migrieren.
Weitere Details hier
Russischsprachige Twitch-Sitzung
Alle Innovationen im Bereich Analytik und Netzwerkinfrastruktur werden heute im russischsprachigen Twitch Stream diskutiert. Die führenden AWS-Lösungsarchitekten haben die interessantesten ausgewählt, bereits viel versucht und werden nun ihre Eindrücke von den neuen Produkten austauschen und alle Ihre Fragen beantworten. Wenn Sie noch keine Verbindung zu Streams hergestellt haben, verlinken Sie zur Registrierung . Übrigens können Sie die Aufnahmen früherer russischsprachiger Streams im Tweet sehen, wenn Sie sie verpasst haben.
Frühere Nachrichten von AWS re: Invent 2020:
AWS re: Invent. Tag 1 Top-Ankündigungen (Andy Jassy, Geschäftsanwendungen)
AWS re: Invent. AWS re: Invent 2020 Keynotes - Maschinelles Lernen Tag 1 (Speicher) Hauptankündigungen