Vor einigen Jahren haben Entwickler von Boston Dynamics mehrere Videos gedreht, in denen Menschen gezeigt werden, die Roboter mit Hockeyschlägern und anderen Objekten schieben. Das Video wurde schnell viral und viele Benutzer, die es sahen, sagten einen bevorstehenden Aufstand von Robotern gegen ihre Peiniger voraus.
Aber das alles ist natürlich nicht umsonst - Roboter haben gelernt, auf unerwartete externe Faktoren zu reagieren. Und das ist sehr schwierig, da eine Vielzahl unterschiedlicher Szenarien vorhersehbar ist. Forscher der Universitäten von Zhejiang (China) und Edinburgh (UK) sind nun in die Fußstapfen von Boston Dynamics getreten. Das Forschungsteam entwickelte sichein komplexes Programm, um Robotern das Fallen, Ruckeln, Driften usw. beizubringen. Soweit Sie das beurteilen können, ist das Programm sehr effektiv.
Die Hauptaufgabe besteht darin, Robotern beizubringen, sich schnell zu erholen, nachdem sie buchstäblich fallen gelassen wurden. Wozu? Wenn der Roboter im wirklichen Leben einige Aufgaben außerhalb des Labors ausführen muss, aber in der normalen Welt, muss er wiederholt fallen. Irgendwo rutscht das Auto aus, vielleicht schiebt es jemand - zum Beispiel auf der Straße zur Hauptverkehrszeit, wenn der Kurierroboter das Paket ausliefert. Ganz zu schweigen von dem Szenario, in dem der Roboter den Beruf eines Retters / Scouts des Gebiets erwirbt.
Unabhängig davon, welchen Beruf der Roboter ausübt, benötigt er besondere Fähigkeiten. Für den Kurier - eine Reihe von Fähigkeiten, für den Retter - die zweite, für den Assistenzgeologen - die dritte. In jedem Fall wird es einige einzigartige und universelle Fähigkeiten geben - zum Beispiel die Fähigkeit, nach einem Sturz schnell aufzusteigen.
Eine Expertengruppe aus China und England ist dabei, eine Softwareplattform für das Training eines Roboters zu erstellen - in unserem Fall handelt es sich um einen Roboterhund. Experten haben bereits ein selbstlernendes System mit acht grundlegenden Algorithmen entwickelt, mit denen ein mechanischer Hund lernen kann, mit der realen Welt zu interagieren. Für das Training wird ein spezielles neuronales Netzwerk verwendet, das auf dem Lernen der Verstärkung basiert. Erstens trainiert das neuronale Netzwerk virtuelle Roboter, dh ihre Modelle, und entwickelt verschiedene Szenarien, um auf externe Faktoren zu reagieren. Nach Abschluss dieser Phase wird das Lernergebnis in Form eines Satzes von Algorithmen in einen realen Roboter "gegossen". Und wir bekommen ein bereits geschultes System. All dies kann mit den Programmen verglichen werden, die Neo in The Matrix erhalten hat. Eins - und er kennt Kung Fu, zwei - er weiß, wie man einen Hubschrauber fliegt,Drei - gewinnt Waffenkompetenz.
Bei einem Roboter ist es ungefähr genauso. Das fertige Programm ist ausgefüllt - und das bisher unbewegliche Auto weiß bereits, wie man nach Stürzen aufsteht, sich um Hindernisse biegt, auf Eis läuft usw.
Ein solches Trainingssystem ist viel effektiver als die Trial-and-Error-Methode mit einem echten Roboter. Um zu lernen, wie man in schwierigen Situationen richtig handelt, führt das neuronale Netzwerk Tausende oder sogar Millionen von Simulationen durch. Ein echter Roboter würde nach dem zehnten oder hundertsten Sturz brechen, wenn er all diese Tests durchlaufen würde. Und in der Simulation können Sie alles tun, sogar das System von einem Wolkenkratzer fallen lassen, wenn Sie es für das Training benötigen.
Ein weiteres Merkmal des Trainings ist, dass zunächst die Grundfertigkeiten des Roboters separat trainiert werden. Wie oben erwähnt, gibt es acht solcher Algorithmusfähigkeiten. Wenn wir früher das Trainingsschema mit der "Matrix" verglichen haben, dann kommt hier das Drehbuch der Fußballmannschaft zur Rettung. Jede Fähigkeit kann mit einem einzelnen Mitglied der Mannschaft verglichen werden - einem Torhüter oder einem Mittelfeldspieler. Jeder von ihnen wird mit speziellen Fähigkeiten geschult und zusammen bilden sie nach Erreichen bestimmter Ergebnisse ein effektives Team. So funktioniert ungefähr alles mit einem Roboter - es wird gelehrt, separat aufzustehen, sich separat um Hindernisse zu biegen usw. Und dann kommen all diese Fähigkeiten zusammen. Die Hauptsache ist, alle erworbenen Fähigkeiten in ein einziges flexibles System zu verwandeln, in dem nichts widerspricht und sich nicht gegenseitig stört.
Das Bild oben zeigt, wie einem Roboter beigebracht wird, mit vielen Steinen über unwegsames Gelände zu laufen. Es folgt seinem Ziel, einem virtuellen grünen Ball, und fällt zeitweise. Nach jedem Sturz erhält er eine bestimmte Erfahrung, die es ihm ermöglicht, eine ähnliche Situation beim nächsten Mal zu vermeiden. Nach Tausenden von virtuellen Stürzen lernt der Roboter, praktisch fehlerfrei über unwegsames Gelände zu laufen - und fällt nicht. Und wenn ja, steht es schnell auf.
All dies wird dann durch die Hinzufügung externer Faktoren erschwert - der Roboter wird in verschiedene Richtungen gedrückt, Steine werden geworfen usw. Infolgedessen passt sich die Maschine an und geht sehr schnell in Betrieb, nachdem sie unerwarteten externen Faktoren ausgesetzt wurde. Die Entwickler sagen, dass Kinder auf die gleiche Weise lernen - schließlich kann ein Kind keine Treppen steigen, Hindernissen ausweichen, Gefahren in Form von Pfützen vermeiden usw. All dies muss durch Ausprobieren gelernt werden.
Entwickler können nicht alles auf der Welt vorhersehen, es ist klar, dass der Roboter irgendwie auf unvorhergesehene Probleme reagieren muss. Die durch ein solches Training erworbenen Grundkenntnisse helfen Ihnen jedoch, die schwierigsten Aufgaben zu bewältigen. Nun, ein Roboter wird in der Lage sein, die gesammelten Erfahrungen auf den zweiten zu übertragen, auf den dritten usw. Alles, wie Sheckley in The Guardian Vogel beschrieben, nur
