Graphennetzwerke sind eine Möglichkeit, klassische neuronale Netzwerkmodelle auf Graphendaten anzuwenden. Graphen, die keine regelmäßige Struktur wie Bilder (jedes Pixel hat 8 Nachbarn) oder Texte (eine Folge von Wörtern) haben, blieben lange Zeit für klassische neuronale Modelle, die auf dem Gebiet des maschinellen Lernens und der künstlichen Intelligenz weit verbreitet sind, nicht sichtbar . Die meisten Graphvektorisierungsmodelle (Erstellen einer Vektordarstellung von Scheitelpunkten in einem Graph) waren ziemlich langsam und verwendeten Algorithmen, die auf Matrixfaktorisierung oder spektraler Graphzerlegung basierten. In den Jahren 2015-16 erschienen effizientere Random-Walk-Modelle (DeepWalk, Line, Node2vec, Hope). Sie hatten jedoch auch Einschränkungen, da sie zusätzliche Merkmale beim Erstellen eines Vektormodells des Graphen in keiner Weise beeinflussten.die an Eckpunkten oder Kanten gespeichert werden können. Die Entstehung von neuronalen Graphennetzen wurde zu einer logischen Fortsetzung der Forschung auf dem Gebiet der Grapheneinbettung und ermöglichte es, die bisherigen Ansätze in einem einzigen Rahmen zu vereinheitlichen.
Wofür sind sie und wie sind sie angeordnet
Eine Schicht eines neuronalen Diagrammnetzwerks ist eine gewöhnliche vollständig verbundene Schicht eines neuronalen Netzwerks, aber die darin enthaltenen Gewichte werden nicht auf alle Eingabedaten angewendet, sondern nur auf diejenigen, die Nachbarn eines bestimmten Scheitelpunkts im Diagramm sind eine eigene Darstellung aus der vorherigen Ebene. Gewichte für Nachbarn und den Scheitelpunkt selbst können durch eine gemeinsame Gewichtsmatrix oder durch zwei separate festgelegt werden. Normalisierungen können hinzugefügt werden, um die Konvergenz zu beschleunigen. Nichtlineare Funktionen von Aktivierungen können variieren, aber die allgemeine Konstruktion bleibt ähnlich. Gleichzeitig erhielten Graph-Faltungsnetzwerke ihren Namen aufgrund der Aggregation von Informationen von ihren Nachbarn, obwohl Graph-Aufmerksamkeitsmechanismen (GAT) oder induktives Lernmodell (GraphSAGE) dieser Definition viel näher kommen.
Anwendung
Empfehlungssysteme
Grafiken entstehen im Kontext von Benutzerinteraktionen mit Produkten auf E-Commerce-Plattformen. Infolgedessen verwenden viele Unternehmen grafische neuronale Netze, um Empfehlungssysteme zu erstellen. In der Regel werden Diagramme verwendet, um die Interaktion von Benutzern mit Produkten zu modellieren, Einbettungen unter Berücksichtigung einer richtig ausgewählten negativen Stichprobe zu lehren. Durch die Rangfolge der Ergebnisse werden personalisierte Angebote für Produkte ausgewählt und bestimmten Benutzern in Echtzeit angezeigt. Einer der ersten Dienste mit einem solchen Mechanismus war Uber Eats : Das neuronale GraphSage- Netzwerk wählt Empfehlungen für Lebensmittel und Restaurants aus.
Während die Grafiken für Lebensmittelempfehlungen aufgrund geografischer Einschränkungen relativ klein sind, verwenden einige Unternehmen neuronale Netze mit Milliarden von Verbindungen. Zum Beispiel hat der chinesische Riese Alibaba Graph-Einbettungen und Graph-Neuronale Netze für Milliarden von Benutzern und Produkten eingeführt. Nur solche Grafiken zu erstellen, ist ein Albtraum für Entwickler. Aber dank der Aligraph- Pipeline Sie können in nur fünf Minuten ein Diagramm mit 400 Millionen Knoten erstellen. Beeindruckend. Aligraph unterstützt eine effiziente, verteilte Grafikspeicherung, optimierte Abrufoperatoren und eine Reihe nativer neuronaler Grafiknetzwerke. Diese Pipeline wird jetzt für Empfehlungen und personalisierte Suchvorgänge für die zahlreichen Produkte des Unternehmens verwendet.
Pinterest schlug ein PinSage- Modell vor , das Nachbarn mithilfe eines personalisierten PageRank effizient zusammenbringt und Vertex-Einbettungen aktualisiert, indem Informationen von Nachbarn aggregiert werden. Das nächste PinnerSage- Modell kann bereits mit Multi-Einbettungen arbeiten, um den unterschiedlichen Geschmack der Benutzer zu berücksichtigen. Dies sind nur einige bemerkenswerte Beispiele im Bereich der Empfehlungssysteme. Sie können auch über die Erforschung von Wissensgraphen und grafischen neuronalen Netzen durch Amazon oder über die Verwendung grafischer neuronaler Netze durch Fabula AI zur Erkennung gefälschter Nachrichten lesen . Aber auch ohne dies ist es offensichtlich, dass graphische neuronale Netze vielversprechende Ergebnisse mit einem signifikanten Signal aus Benutzerinteraktionen zeigen.
Kombinatorische Optimierung
Kombinatorische Optimierungslösungen sind das Herzstück vieler wichtiger Produkte in den Bereichen Finanzen, Logistik, Energie, Wissenschaft und Elektronikdesign. Die meisten dieser Aufgaben werden anhand von Diagrammen beschrieben. Und im letzten Jahrhundert wurden große Anstrengungen unternommen, um effizientere algorithmische Lösungen zu entwickeln. Die Revolution des maschinellen Lernens hat uns jedoch neue, überzeugende Ansätze gegeben. Das Google Brain-
Team verwendete grafische neuronale Netze, um den Stromverbrauch, die Fläche und die Leistung von Chips für neue Hardware wie Google TPU zu optimieren ... Ein Computerprozessor kann als Speichergraph und Logikkomponenten mit jeweils eigenen Koordinaten und Typen dargestellt werden. Die Bestimmung des Standorts für jede Komponente unter Berücksichtigung der Einschränkungen bei der Platzierungsdichte und der Lastführung ist nach wie vor ein zeitaufwändiger Prozess, ein Kunstwerk für Elektronikingenieure. Die Kombination des Diagrammmodells mit Richtlinien- und Verstärkungslernen ermöglicht es, eine optimale Chipplatzierung zu finden und leistungsfähigere Chips zu erstellen als die von Menschen entworfenen.
Ein weiterer Ansatz besteht darin, das Modell des maschinellen Lernens in vorhandene Lösungswerkzeuge zu integrieren. Zum Beispiel ein Team unter der Leitung von M. Gassschlugen ein Graphennetzwerk vor, das Richtlinien für die Auswahl von verzweigten und gebundenen Variablen lernt: eine kritische Operation in MILP-Lösungstools (Mixed Integer Linear Program). Infolgedessen versuchen die erlernten Darstellungen, die Dauer der Lösungswerkzeuge zu minimieren und einen guten Kompromiss zwischen Ausgabegeschwindigkeit und Lösungsqualität aufzuzeigen.
In einer neueren ZusammenarbeitDeepMind und Google verwenden Graphennetzwerke in zwei wichtigen Teilproblemen, die mit MILP-Tools gelöst werden: Zuweisung von Variablen und Einschränkung von Zielwerten. Der vorgeschlagene Ansatz, der auf einem neuronalen Netzwerk basiert, erwies sich als 2- bis 10-mal schneller als vorhandene Lösungstools, die große Datenmengen verwenden, einschließlich der von Google für Produktverpackungs- und Planungssysteme verwendeten. Wenn Sie sich für diesen Bereich interessieren, können Sie einige aktuelle Studien ( 1 , 2 ) empfehlen , in denen die Kombination von grafischen neuronalen Netzen, maschinellem Lernen und kombinatorischer Optimierung viel ausführlicher erörtert wird.
Computer Vision
Objekte in der realen Welt sind eng miteinander verbunden, sodass Bilder dieser Objekte mithilfe von grafischen neuronalen Netzen erfolgreich verarbeitet werden können. Sie können beispielsweise den Inhalt eines Bildes durch Szenendiagramme wahrnehmen - eine Reihe von Objekten in einem Bild mit ihren Beziehungen. Szenendiagramme werden verwendet, um Bilder zu finden, ihren Inhalt zu verstehen und zu verstehen, Untertitel hinzuzufügen, visuelle Fragen zu beantworten und Bilder zu generieren. Diese Grafiken können die Leistung Ihrer Modelle erheblich verbessern.
In einem der Werke von Facebookbeschrieben, dass Sie Objekte aus dem beliebten COCO-Dataset in einen Rahmen einfügen, ihre Positionen und Größen festlegen und basierend auf diesen Informationen ein Szenendiagramm erstellen können. Mit seiner Hilfe ermittelt das graphische neuronale Netzwerk die Einbettungen von Objekten, aus denen das Faltungs-neuronale Netzwerk wiederum Objektmasken, Rahmen und Umrisse erstellt. Endbenutzer können dem Diagramm einfach neue Knoten hinzufügen (indem sie die relative Position und Größe der Knoten definieren), damit neuronale Netze mit diesen Objekten Bilder erzeugen können.
Eine weitere Quelle für Grafiken in der Bildverarbeitung ist das Nebeneinander zweier miteinander verbundener Bilder. Dies ist ein klassisches Problem, das früher manuell durch Erstellen von Deskriptoren gelöst wurde. Magic Leap, ein 3D-Grafikunternehmen hat eine Architektur basierend auf neuronalen Graphen-Netzwerken namens SuperGlue erstellt . Diese Architektur ermöglicht eine Echtzeit-Videoanpassung für die Wiedergabe von 3D-Szenen, die Standorterkennung, die gleichzeitige Lokalisierung und Zuordnung (SLAM). SuperGlue besteht aus einem grafischen neuronalen Netzwerk, das auf dem Aufmerksamkeitsmechanismus basiert. Sie lernen, die Schlüsselpunkte des Bildes zu finden, die dann zum Abgleichen auf die optimale Transportschicht übertragen werden. Auf modernen Grafikkarten kann das Modell in Echtzeit arbeiten und in SLAM-Systeme integriert werden. Weitere Informationen zur Kombination von Grafiken und Computer Vision finden Sie in diesen Studien: 1 , 2 .
Physik und Chemie
Die Darstellung von Wechselwirkungen zwischen Partikeln oder Molekülen in Form von Diagrammen und die Vorhersage der Eigenschaften neuer Materialien und Substanzen mithilfe grafischer neuronaler Netze ermöglicht die Lösung verschiedener naturwissenschaftlicher Probleme. Zum Beispiel suchen Facebook und CMU im Rahmen des Open Catalyst- Projekts nach neuen Wegen, um erneuerbare Solar- und Windenergie zu speichern. Eine mögliche Lösung besteht darin, diese Energie durch chemische Reaktionen in andere Brennstoffe umzuwandeln, beispielsweise Wasserstoff. Dafür müssen jedoch neue Katalysatoren für hochintensive chemische Reaktionen geschaffen werden, und heute bekannte Methoden wie DFT sind sehr teuer. Die Autoren des Projekts haben gepostetDie größte Sammlung von Katalysatoren, DFT-Zerfällen und Basislinien für graphische neuronale Netze. Die Entwickler hoffen, neue kostengünstige molekulare Simulationen zu finden, die die derzeit teuren Simulationen, die über Tage laufen, durch effiziente Schätzungen von Energie und intermolekularen Kräften ergänzen, die innerhalb von Millisekunden berechnet werden.
Die Forscher von DeepMind haben auch graphische neuronale Netze verwendet, um die Dynamik komplexer Partikelsysteme wie Wasser und Sand zu emulieren. Indem man die relative Bewegung jedes Partikels bei jedem Schritt vorhersagt, kann man die Dynamik des gesamten Systems plausibel wiederherstellen und mehr über die Gesetze erfahren, die diese Bewegung regeln. So versuchen sie beispielsweise, das interessanteste der ungelösten Probleme in der Festkörpertheorie zu lösen - den Übergang in den glasigen Zustand... Mit grafischen neuronalen Netzen können Sie nicht nur die Dynamik während eines Übergangs emulieren, sondern auch besser verstehen, wie sich Partikel je nach Zeit und Entfernung gegenseitig beeinflussen.
Das amerikanische Physiklabor Fermilab arbeitet daran, am Large Hadron Collider graphische neuronale Netze zu verwenden, um Millionen von Daten zu verarbeiten und diejenigen zu finden, die mit der Entdeckung neuer Teilchen verbunden sein könnten. Die Autoren möchten grafische neuronale Netze in integrierte Schaltkreise mit programmierbarer Logik implementieren und sie zur Datenerfassung in Prozessoren einbetten , damit grafische neuronale Netze von überall auf der Welt aus verwendet werden können. Lesen Sie mehr über ihre Anwendung in der Hochenergiephysik in diese Studie .
Medikamentenentwicklung
Pharmaunternehmen suchen aktiv nach neuen Methoden der Arzneimittelentwicklung, konkurrieren heftig miteinander und geben Milliarden von Dollar für Forschung aus. In der Biologie können Diagramme verwendet werden, um Interaktionen auf verschiedenen Ebenen darzustellen. Auf molekularer Ebene bezeichnen Bindungen zwischen Knoten beispielsweise interatomare Kräfte in einem Molekül oder Wechselwirkungen zwischen Aminosäurebasen in einem Protein. In größerem Maßstab können Diagramme Wechselwirkungen zwischen Proteinen und RNA oder Stoffwechselprodukten darstellen. Abhängig vom Abstraktionsgrad können Diagramme zur gezielten Identifizierung, Vorhersage molekularer Eigenschaften, Hochdurchsatz-Screening, Design neuer Medikamente, Proteindesign und Wiederverwendung von Medikamenten verwendet werden.
Das wahrscheinlich vielversprechendste Ergebnis der Verwendung von Graph-Neuronalen Netzen in diesem Bereich ist die Arbeit von Forschern des MIT, die 2020 in Cell veröffentlicht wurde. Sie verwendeten ein Deep-Learning-Modell namens Chemprop , das die antibiotischen Eigenschaften von Molekülen vorhersagte: die Hemmung der Proliferation von E. coli. Nach dem Training an nur 2.500 Molekülen aus einer von der FDA zugelassenen Bibliothek wurde Chemprop auf einen größeren Datensatz angewendet, einschließlich eines Drug Repurposing Hub, der ein nach AI HAL 9000 umbenanntes Halicin- Molekül enthält aus dem Film "A Space Odyssey 2001". Es ist bemerkenswert, dass Halicin zuvor nur in Bezug auf die Behandlung von Diabetes untersucht wurde, da sich seine Struktur stark von bekannten Antibiotika unterscheidet. Klinische Experimente in vitro und in vivo haben jedoch gezeigt, dass Halicin ein Breitbandantibiotikum ist. Ein umfassender Vergleich mit starken neuronalen Netzwerkmodellen hat die Bedeutung der Halicin-Eigenschaften hervorgehoben, die mithilfe von graphischen neuronalen Netzwerken entdeckt wurden. Neben der praktischen Rolle dieser Arbeit ist die Chemprop-Architektur für andere interessant: Im Gegensatz zu vielen grafischen neuronalen Netzen enthält sie 5 Schichten und 1600 verborgene Dimensionen, was viel mehr ist als die typischen Parameter von grafischen neuronalen Netzen für solche Aufgaben. Ich hoffe, dies war nur eine der wenigen KI-Entdeckungen in der zukünftigen neuen Medizin. Lesen Sie mehr über diese Richtung hierund hier .
Als Graph neuronale Netze zum Trend wurden
Die Einbettung von Graphen erreichte 2018 ihren Höhepunkt, als die 2016 vorgeschlagenen Modelle für strukturelle Einbettung und grafische neuronale Netze in vielen praktischen Anwendungen getestet wurden und eine hohe Effizienz zeigten, einschließlich des bekanntesten Beispiels des PinSAGE-Modells, das in den Empfehlungen des sozialen Netzwerks Pinterest verwendet wurde. Seitdem ist das Wachstum der Forschung zu diesem Thema exponentiell geworden, und es gibt immer mehr Anwendungen in Bereichen, in denen bisherige Methoden die Kommunikation zwischen Objekten in Modellen nicht effektiv berücksichtigen konnten. Es ist bemerkenswert, dass die Automatisierung des maschinellen Lernens und die Suche nach neuen effizienten Architekturen für neuronale Netze dank grafischer neuronaler Netze ebenfalls neue Impulse für die Entwicklung erhalten haben.
Sind sie auch in Russland ein Trend?
Leider bleibt Russland in den meisten Fällen hinter der modernen Forschung auf dem Gebiet der künstlichen Intelligenz zurück. Die Anzahl der Artikel auf internationalen Konferenzen und in führenden Fachzeitschriften ist um eine Größenordnung geringer als die von Wissenschaftlern aus den USA, Europa und China, und die finanzielle Unterstützung für die Forschung in neuen Bereichen stößt im verknöcherten Umfeld von Wissenschaftlern, die festsitzen, auf Widerstand Ansätze aus dem letzten Jahrhundert und gewähren Zuschüsse eher nach dem Prinzip des gerontokratischen Nepotismus als nach wirklichen Errungenschaften. Infolgedessen sind die Namen russischer Wissenschaftler auf führenden Konferenzen wie TheWebConf, ICDM, WSDM, KDD, NIPS hauptsächlich mit westlichen Universitäten verbunden, was den Trend der Abwanderung von Fachkräften sowie die ernsthafte Konkurrenz aus fortgeschrittenen Ländern auf diesem Gebiet widerspiegelt der KI-Entwicklung, insbesondere China. ...
Wenn Sie sich Konferenzen im Bereich der Informatik mit der höchsten A * -Bewertung gemäß Core ansehen, z. B. Konferenzen zum Thema Hochleistungsrechnen, dann beträgt die durchschnittliche Zuschussgröße für Artikel, die im Hauptkurs akzeptiert werden, 1 Million US-Dollar, was zu einem Verlust führt die maximalen Programme der russischen wissenschaftlichen Stiftung in 15 30-mal. Unter solchen Bedingungen sind Forschungen, die in großen Unternehmen mit F & E-Organisation durchgeführt wurden, die einzigen Treiber bei der Suche nach neuen Ansätzen, die auf grafischen neuronalen Netzen basieren.
In Russland wird die Theorie der grafischen neuronalen Netze an der Higher School of Economics unter meiner Leitung studiert. Es gibt auch Gruppen bei Skoltech und MIPT, angewandte Forschung wird am ITMO der Kasaner Bundesuniversität sowie am AI-Labor von Sber durchgeführt , in F & E-Projekten JetBrains, Mail.ru Group, Yandex.
Auf der Weltbühne sind die Treiber Twitter, Google, Amazon, Facebook, Pinterest.
Flüchtiger oder langfristiger Trend?
Wie alle Trends hat die Mode für grafische neuronale Netze Transformatoren mit ihren großen Architekturen Platz gemacht, die alle möglichen Abhängigkeiten in unstrukturierten Daten beschreiben, aber Modelle generieren, deren Training Millionen von Dollar kostet und die nur Megakonzernen zur Verfügung stehen. Graphische neuronale Netze haben nicht nur erfolgreich ihren Platz als Standard für das Erstellen von maschinellem Lernen auf der Grundlage von Strukturdaten eingenommen, sondern haben sich auch als wirksames Mittel zum Aufbau struktureller Aufmerksamkeit in verwandten Branchen erwiesen, einschließlich einer hohen Effizienz bei Lernproblemen mit mehreren Beispielen und beim metrischen Lernen . Ich bin sicher, dass wir dank grafischer neuronaler Netze neue Entdeckungen in den Bereichen Materialwissenschaften, Pharmakologie und Medizin machen können. Vielleicht gibt es neue, effizientere Modelle für Big Data, die die Eigenschaften haben, Wissen zwischen verschiedenen Diagrammdaten zu übertragen.Modelle werden die Probleme der Anwendbarkeit für Graphen überwinden, deren Struktur der Ähnlichkeit von Merkmalen entgegengesetzt ist, aber im Allgemeinen hat sich dieser Bereich des maschinellen Lernens zu einer unabhängigen Wissenschaft entwickelt, und es ist an der Zeit, sich jetzt damit zu befassen eine seltene Chance, an der Entwicklung einer neuen Industrie sowohl in der Wissenschaft als auch in industriellen Anwendungen teilzunehmen.
Wenn Sie Ihre Fähigkeiten im maschinellen Lernen verbessern und grafische neuronale Netze studieren möchten, warten wir in unserer MADE Big Data Academy auf Sie .