Verteiltes Training auf Amazon SageMaker
Amazon SageMaker macht es einfacher und schneller, große Modelle zu trainieren und große Datenmengen zu verarbeiten. Das neue verteilte Training für Amazon SageMaker ermöglicht verteiltes Training und unterstützt sowohl Daten- als auch Modellparallelität. Dies erfordert minimale Änderungen am Code. Jetzt können Sie die Daten einfach in Teile aufteilen und auf verschiedenen GPUs trainieren. Sie können das Modell auch selbst aufteilen, sodass mehrere GPUs für das Training verwendet werden. Dies ist nützlich für große Modelle, bei denen die GPU allein nicht ausreicht.
Weitere Details hier
Amazon SageMaker Clarify
Modelle für maschinelles Lernen sind oft eine Black Box. Es ist schwer zu verstehen, warum das Modell dieses oder jenes Ergebnis hervorgebracht hat. Mit Amazon SageMaker Clarify können Sie besser verstehen, wie die Modelle funktionieren und welche Faktoren die einzelnen Ergebnisse beeinflusst haben. Dies ist besonders wichtig für die Prüfung von Modellen.
Außerdem sind die Daten möglicherweise nicht ausgeglichen. Die historischen Daten, auf denen ML-Modelle trainiert werden, sind unvollständig und oft voreingenommen. Wenn beispielsweise frühere Personen in einem bestimmten Alter nur wenige Hypotheken aufgenommen haben, kann ein anhand dieser Daten geschultes Modell künftig Hypotheken an Personen in diesem Alter ablehnen. Das wird nur die Voreingenommenheit verstärken. Mit Amazon SageMaker Clarify können Sie diese Arten von Ungleichgewichten und Verzerrungen in Ihren Daten identifizieren. Dadurch funktionieren die Modelle für alle besser.
Weitere Details hier
Amazon SageMaker Debugger
Amazon SageMaker Debugger ist ein praktisches Tool zum Debuggen und Profilieren von Modellen, Sammeln und Analysieren von Trainingsdaten, Generieren von Berichten und Visualisieren von Metriken. SageMaker Debugger hat in diesem Jahr viele Updates sowie eine komplett neu gestaltete Benutzeroberfläche erhalten.
Details hier
Amazon SageMaker JumpStart
Mit Amazon SageMaker JumpStart können Sie schnell eine Standardlösung oder ein ML-Modell bereitstellen. Für Aufgaben wie Handschrifterkennung, Bedarfsprognose, Betrug und Erkennung böswilliger Benutzer und vieles mehr stehen bereits 15 Lösungen zur Verfügung. Darüber hinaus können Sie mit SageMaker JumpStart mit wenigen Klicks eines von 150 Open Source ML-Modellen aus dem TensorFlow Hub und dem PyTorch Hub bereitstellen.
Details hier
Amazon SageMaker Edge Manager
Ein Toolkit (MLOps), mit dem Sie Ihre Smart-Geräte in Edge-Smart-Geräte verwandeln können, mit denen Cloud-geschulte Modelle ausgeführt, Telemetrie erfasst und Beispieldaten zur Umschulung an die Cloud zurückgesendet werden können. Mit Amazon SageMaker Edge Manager können Sie auch den Zustand Ihrer Geräteflotte überwachen und mit SageMaker Neo optimierte Modelle aktualisieren.
Der SageMaker Edge Agent ist eine kleine Laufzeit, die auf einem Gerät gehostet wird, auf dem Modelle ausgeführt, Telemetrie erfasst und Beispieldaten an die Cloud zurückgesendet werden können.
SageMaker Neo ist ein Tool, das Ihre Modelle für Geräte mit geringem Stromverbrauch optimiert, die bereits in der Agentenlaufzeit enthalten sind.
Mit SageMaker Edge Dashboards können Sie den Zustand Ihrer Geräte überwachen, indem Sie Modelle verschieben.
Weitere Details hier
Amazon Redshift ML
Dank der Integration in SageMaker AutoPilot, das die Daten vorbereitet und den am besten geeigneten Algorithmus auswählt, können Sie jetzt Modelle trainieren und direkt in SQL-Abfragen auf Redshift schließen. Alle weiteren Vorhersagen können bereits mithilfe der Ressourcen des RedShift-Clusters getroffen werden, ohne dass Daten daraus entladen werden müssen.
Dies erleichtert dem Entwickler oder Analysten die Arbeit mit Daten und entfernt Schritte wie das Hochladen von Daten in den Staging-Speicher, das Starten des Schulungsprozesses, das Hosten des Modells und den Vorhersageprozess.
Mehr Details
Amazon Neptune ML
Amazon Neptune ML ist eine neue Funktion für grafisch basierte verwaltete Datenbanken - Amazon Neptune. Mit der Deep Graph Library kann die Genauigkeit gegenüber anderen Bibliotheken und Algorithmen, die nicht auf Graphendatenquellen spezialisiert sind, um bis zu 50% verbessert werden.
Amazon Neptune ML kann sowohl fehlende Knoten (Klassifizierungsknoten) als auch Kanten (Gewichtsregression) vorhersagen.
Amazon Lookout für Metriken
Ein neuer Service, der automatisch Anomalien in Ihren Geschäftsmetriken erkennt und keine Entwicklungs- oder maschinellen Lernfähigkeiten erfordert. Der Dienst kann eine Verbindung zu Datenquellen wie Salesforce, Marketo, Google Analytics, Slack, Zendesk und vielen anderen herstellen.
Es kann zum Überwachen, Auffinden und Warnen von Anomalien verwendet werden und kann auch die mögliche Ursache einer Anomalie bei Daten wie Webseitenaufrufen, Kundenabwanderungsrate, täglich aktiven Benutzern (DAU), Transaktionen, Installationen mobiler Apps und vielen anderen anzeigen. ...
Plarix hat bereits Zugriff auf die Vorschau und hat diesen Dienst getestet, um seine Daten zu analysieren.
„Wir haben mit unseren Benutzererfassungsdaten experimentiert, um zu verstehen, wie der Dienst funktioniert, und es wurden schnell Anomalien identifiziert und gruppiert, sodass wir schneller und besser arbeiten können“ - Mikhail Artyugin, CTO bei Playrix.
Weitere Details hier
Russischsprachige Twitch-Sitzung
Heute wird der nächste russischsprachige Zuckungsstrom stattfinden, jetzt über die Neuheiten im Bereich des maschinellen Lernens. Wir erinnern Sie daran, dass Streams an den wichtigsten Tagen von AWS re: Invent stattfinden. Streams werden von führenden AWS-Lösungsarchitekten vorbereitet und durchgeführt, die aus den Nachrichten und Ankündigungen der mehrstündigen Konferenz die interessantesten und nützlichsten auswählen. Für diejenigen, die noch keine Verbindung hergestellt haben - der Registrierungslink .
AWS re: Invent. Hauptankündigungen des ersten Tages (Teil 1) von
AWS re: Invent. Die Hauptankündigungen des ersten Tages (Teil 2)