💊 🚠 🚿 Aufmerksamkeitsmechanismus mit Darstellern überdenken 👩🏼‍🤝‍👩🏻 👩🏽‍💻 👼🏻

Transformator-basierten Modelle haben hervorragende Ergebnisse in einer Vielzahl von Disziplinen erreicht, einschließlich Konversations AI , natürliche Sprachverarbeitung , Bildverarbeitung , und sogar Musik . Die Hauptkomponente jeder Architektur ist das Transformers- Aufmerksamkeitsmodul (Aufmerksamkeitsmodul), das die Ähnlichkeit für alle Paare in der Eingabesequenz berechnet. Es skaliert jedoch nicht gut mit der Zunahme der Länge der Eingabesequenz, was eine quadratische Zunahme der Rechenzeit erfordert, um alle Ähnlichkeitsschätzungen zu erhalten, sowie eine quadratische Zunahme der Speichermenge, die zum Erstellen einer Matrix zum Speichern dieser Schätzungen verwendet wird.

Für Anwendungen, die eine erweiterte Aufmerksamkeit erfordern, wurden mehrere schnellere und kompaktere Proxys vorgeschlagen, wie z. B. Speicher-Caching-Techniken . Die üblichere Lösung besteht jedoch darin, eine geringe Aufmerksamkeit zu verwenden . Eine geringe Aufmerksamkeit reduziert die Rechenzeit und den Speicherbedarf für den Aufmerksamkeitsmechanismus, indem nur eine begrenzte Anzahl von Ähnlichkeitsbewertungen aus einer Sequenz und nicht aus allen möglichen Paaren berechnet wird, was eher zu einer spärlichen als zu einer vollständigen Matrix führt. Diese spärlichen Vorkommen können manuell vorgeschlagen, mithilfe von Optimierungstechniken ermittelt, erlernt oder sogar randomisiert werden, wie Techniken wie Sparse Transformers , Longformers zeigen, Routing-Transformatoren , Reformatoren und Big Bird . Da spärliche Matrizen auch durch Graphen und Kanten dargestellt werden können , werden spärliche Methoden auch durch die Literatur zu neuronalen Netzen von Graphen motiviert , insbesondere hinsichtlich des in Graph Attention Networks beschriebenen Aufmerksamkeitsmechanismus. Solche Sparsity-Architekturen erfordern typischerweise zusätzliche Schichten, um implizit einen vollständigen Aufmerksamkeitsmechanismus zu erzeugen.