Liebe, Tod und Roboter: Betrachten Sie Asimovs Geschichten mit den Augen eines Entwicklers





Zu Ehren des Programmierertags beschlossen wir, uns ein wenig zu entspannen und Isaac Asimovs Lieblingsgeschichten noch einmal zu lesen. Und dann erwartete uns eine Entdeckung: Es stellt sich heraus, dass der Science-Fiction-Autor vor mehr als einem halben Jahrhundert viele der Realitäten der modernen Entwicklung mit ausreichender Genauigkeit beschrieben hat. Wie ist das möglich, fragst du? Lassen Sie es uns gemeinsam herausfinden. 



Von den vielen Geschichten des berühmten Science-Fiction-Schriftstellers ist die Serie über die Firma „Yu. S. Robots “und seine Mitarbeiter. Mehrere Geschichten erzählen vom Alltag der Tester Powell und Donovan - eine Art Robotertester, andere - über den Hauptroboterpsychologen Dr. Calvin. Das Spektrum der Probleme, mit denen sie konfrontiert sind, ist vielen ihrer heutigen Kollegen bis heute breit und vertraut.



Eines dieser häufigen Probleme ist eine in einer Aufgabe falsch formulierte Arbeitsaufstellung. Azimov hat dieses Thema mehr als einmal und es ist nicht überraschend - seine Roboter sind viel schlauer und "menschlicher" als moderne Maschinen, und Menschen, die mit ihnen arbeiten, vergessen leicht, dass der Roboter anders denkt. Infolgedessen kann eine unachtsame Einstellung des Problems zu einer Katastrophe werden, wie es in der Geschichte "Round Dance" geschehen ist .



Und alles begann, wie es den Testern schien, ganz gut. Um eine verlassene Basis auf Quecksilber in Ordnung zu bringen, ist nur ein Kilogramm Selen erforderlich, um die Fotozellen zu fixieren. Und es wird Elektrizität geben und damit auch die Kühlung der Basis, ohne die es auf Merkur keine Möglichkeit gibt, zu überleben. Selena ist voll in der Nachbarschaft, ganze Seen ... Nur der Roboter, der zum nächsten geschickt wird, ist verrückt und läuft im Kreis, schlimmer noch - er trägt betrunkenes Delirium, obwohl Roboter nicht trinken. Während des Ausfluges nach draußen mit der Gefahr des Bratens stellen die Helden fest, dass der Roboter auf dem Weg zum See auf gefährliche Bedingungen für sich selbst gestoßen ist. Aber es gibt eine direkte Reihenfolge, was ist los?



- Ich sagte ... Warte ... ich sagte: 'Geschwindigkeit, wir brauchen Selen. Sie werden ihn dort und dort finden. Los, hol's dir. " Das ist alles. Was hätte ich sonst noch sagen sollen?

- Sie haben nicht gesagt, dass es sehr wichtig ist, dringend?

- Wozu? Die Sache ist einfach.


Diese "Einfachheit" führte zu einem Dilemma im Programm des Roboters: Die Priorität der Ausführung einer "unwichtigen" Aufgabe war niedriger als das Gefühl der Selbsterhaltung (das dritte Gesetz, das die Vermeidung von Schäden vorschreibt). Infolgedessen war der Roboter auf die Entscheidung fixiert, den Befehl zu erfüllen oder zu überleben, und die potenziellen Tester mussten ihren Fehler durch riskante Maßnahmen korrigieren - indem sie sich dem Ersten Gesetz zuwandten, das die höchste Priorität hat. Einfach ausgedrückt, sich selbst in Gefahr bringen und den Roboter dazu zwingen, andere Aufgaben zu verschieben und sich zu beeilen, um die Besitzer zu retten. Nach einer solchen Erfahrung näherten sich die Tester den Aufgabenbereichen nachdenklicher - und alles lief wie am Schnürchen:



- Ich habe ihn an einen anderen Selensee geschickt - diesmal mit dem Auftrag, um jeden Preis Selen zu bekommen. Er brachte es in zweiundvierzig Minuten und drei Sekunden - ich sah auf die Uhr.


Nach Merkur scheint die neue Aufgabe den Helden nicht so gefährlich zu sein (auf der interplanetaren Station, wo die Geschichte von "Logic" spielt , ist es viel cooler, nur "zweihundertdreiundsiebzig Grad unter Null"), aber sie müssen sich einem Problem stellen, das die Entwickler nur sehen können Albträume. Zumindest hat noch kein Programm seinen Schöpfern gesagt, dass solche unvollkommenen Wesen es nicht schreiben könnten.



Cuties Roboter, eine Neuentwicklung zur Wartung eines Energiewandlers, glaubte jedoch nicht an die Beteiligung von Menschen an seiner Entwicklung. Nun, wirklich, wie können diese schwachen Kreaturen etwas Perfekteres als sich selbst erschaffen? Das ist unlogisch. Er hat eine plausibelere Version:



- Der Meister schuf zuerst Menschen - die unkomplizierteste Art, die am einfachsten zu produzieren ist. Allmählich ersetzte er sie durch Roboter. Es war ein Schritt vorwärts. Schließlich schuf er mich, um den Platz der verbleibenden Menschen einzunehmen. Von nun an diene ich dem Herrn!


Die Helden versuchen, den Roboter zu überzeugen, indem sie sowohl Bücher als auch Fakten (wie sie denken) ansprechen und die Existenz der Erde beweisen. Selbst die Montage eines neuen Roboters in Gegenwart von Cutie bringt kein Ergebnis - sie waren nicht überzeugt. Vielleicht liegt dies an dem Mangel an Postulaten über seinen Ursprung und seine Ziele, die in das positive Gehirn eingebunden sind. Dieser Architekturfehler ist leicht zu erklären - die Entwickler hatten kaum erwartet, dass der Roboter die Argumente der Menschen bezweifeln würde. Aber der Fehler, der in den vorherigen Generationen des Produkts keine Rolle spielte, führte bei der neuen zur Schaffung einer weiteren Kette von Postulaten im Gehirn der Maschine: 



"Ich glaube es nicht", stimmte Powell traurig zu. - Es ist ein Denkroboter, verdammt! Er glaubt nur an Logik, und das ist der springende Punkt ...

- Was?

- Streng logisches Denken kann alles beweisen - je nachdem, welche ursprünglichen Postulate akzeptiert werden. Wir haben sie und Cutie hat ihre.


Trotz der Tatsache, dass der Roboter seine Aufgabe durch andere Variablen wahrnimmt, erfüllt er seine Funktionen vollständig. Er tut es einfach nicht, weil die Leute es ihm befohlen haben, sondern weil dies der Wille des Herrn ist.



Und die Menschen stehen vor einem klassischen Dilemma: Lohnt es sich, etwas zu reparieren, wenn es funktioniert? So kamen die Helden nachdenklich zu dem Schluss - es lohnt sich nicht:



– , - . , .

– ?

– ! , ?

– ?

– , …

– !


Die dritte Geschichte über die Tester - "Catching a Rabbit" - zeigt gut, was passiert, wenn ein Produkt vor der Veröffentlichung nicht einem Stresstest unterzogen wurde. Die Geschichte beschreibt die Feldversuche von Daves Robot Miner mit einem neuen Design - einem zusammengesetzten (ein Roboterkommandant steuert sechs andere Roboter wie ein Handfinger). Sobald der Roboter unbeaufsichtigt bleibt, funktioniert er nicht mehr. Außerdem beginnt er mit dem gesamten Team zu marschieren - eine sehr verdächtige Aktivität für einen Bergmann. 



Das Problem der Tester lässt sich am besten durch ein Zitat aus der Geschichte selbst beschreiben:



– . – ! – . – : . : «. . » , . : . : , «. . » . : , , .


Unter der Gefahr, einen guten Job zu verlieren, ist ein Tester zu vielen Dingen fähig - eine Tatsache. Die Helden der Geschichte gingen durch und lehnten viele Optionen zur Überprüfung ab - von Unit-Tests vor Ort (es könnte auseinandergenommen und separat getestet werden, aber es gibt nur 10 Tage und es ist noch nicht bekannt, ob dies etwas bringt) bis zu einer speziellen Testumgebung (die ist, aber auf einer fernen Erde und wiegt 10 Tonnen). Was ist übrig? Simulieren Sie die Bedingungen, unter denen ein Fehler auftritt, und suchen Sie nach der Ursache. Dies ist leider der Anteil vieler moderner Tester. Sie hatten zwar mehr Glück - im Gegensatz zu den Helden der Geschichte müssen die heutigen Spezialisten die Mine zumindest nicht absichtlich mit ihnen in die Luft jagen. Aber unter den Trümmern von Steinen denkt eine Person viel effizienter, und es ist gut, dass die Entwickler diese Technik noch nicht übernommen haben.



Ein manipulierter Unfall half nicht nur, einen Fehler zu verursachen, sondern auch seine Ursache zu erraten, und sogar auf extreme Weise - indem er einen der "Finger" des Roboters in die Luft jagte -, um die Last zu reduzieren und das Problem zu beseitigen:



- Davon spreche ich. Befehle, die gleichzeitig auf sechs Kanälen gesendet werden! Unter normalen Bedingungen erledigen ein oder mehrere "Finger" einfache Arbeiten, die keine genaue Überwachung erfordern. Nun, genau wie unsere üblichen Gehbewegungen. Und unter extremen Umständen müssen alle sechs sofort und gleichzeitig in Aktion gesetzt werden. Und hier gibt etwas auf. Der Rest ist einfach. Jede Abnahme der von ihm geforderten Initiative, zum Beispiel das Aussehen einer Person, bringt sie zu sich selbst. Ich habe einen der Roboter zerstört, und Dave musste nur fünf befehlen, die Initiative nahm ab und er wurde normal!


Allerdings bekommen nicht nur Tester - "Tester" - die schwierigen Aufgaben in Azimovs Geschichten. In der Geschichte "Wie der Roboter verloren ging" muss die Chefroboterpsychologin Susan Calvin nicht nach einer Fehlfunktion suchen, sondern nach dem gesamten Roboter. Nein, er verschwand nicht spurlos - er versteckte sich unter anderen der gleichen Art und gab vor, einer von ihnen zu sein. Nur von 63 Robotern sagen 62 die Wahrheit und einer lügt, und dies ist ein schwerwiegender Fehler.



Der Grund für den Fehler ist schnell gefunden: Der Kunde hat Änderungen am Roboterprogramm vorgenommen. Und nicht irgendwo da draußen, sondern in seinem Schlüsselteil - in der Formulierung des Ersten Gesetzes. Der neue Roboter ist nicht mehr verpflichtet, eine Person zu schützen (um nicht nach Wissenschaftlern in Gammastrahlen und Beute zu klettern). Aber wie so oft im wirklichen Leben sind solche inkonsistenten Änderungen, die ohne das Wissen des führenden Experten vorgenommen werden, mit schwerwiegenden Konsequenzen verbunden. In diesem Fall verstieß die Störung gegen die zuvor klare Logik der Gesetze, und das einst gut geölte System wurde instabil. Die emotionale Ordnung "Geh weg und zeig dich nicht, damit ich dich nicht wieder sehe" gibt dem Roboter eine Lücke, er gehorcht - und tut alles, um den Befehl zu erfüllen.

Wir müssen eine Reihe von Tests zur Einhaltung des Ersten Gesetzes entwickeln und eine Falle aufstellen, die auf einem weiteren Fehler bei Änderungen im Roboterprogramm basiert - einem Gefühl der Überlegenheit, das für gewöhnliche Maschinen nicht charakteristisch ist:



– . , -, . , . -10 . , . - , -2 , . , . , . , , , , , -10 , . - , , … .


Die Helden sind gezwungen, in der Geschichte "Risiko" nach Fehlern zu suchen . Ein Schiff mit einem Hyperantrieb unterliegt einer Überprüfung, die aus irgendeinem Grund während des Tests nicht gesprungen ist. Für Menschen sind solche Sprünge gefährlich, daher wurde das Schiff von einem Roboter gesteuert. Jetzt sollten Sie jemanden zum Schiff schicken, um die Ursache des Fehlers herauszufinden.



Diese Geschichte hat mehrere Programmierprobleme aufgeworfen. Erstens das Testen - automatisiert (in diesem Fall - von einem Roboter) oder manuell (Wissenschaftler). Auf den ersten Blick scheint ein Roboter eine geeignetere Option zu sein - eine Maschine ist schneller und zuverlässiger als ein menschlicher Spezialist. Aber der Robopsychologe besteht auf einer menschlichen Kontrolle. Sie klärt ihre Position später wie folgt:



–  , , . : . , , . . . , , .



,  , . , . , . , , , , ? « » – , . , , .


Zum Teil sind diese Prinzipien auch heute noch relevant - obwohl automatisierte Tests immer häufiger eingesetzt werden und viele Vorteile haben, sind manuelle Tests in einigen Situationen immer noch sinnvoll und ermöglichen es Ihnen, Probleme zu identifizieren, die aufgrund ihrer Spezifität mit Maschinen schwer zu finden sind. In der Geschichte ist es dem Roboter unmöglich, ein vollwertiges Szenario für das Auffinden eines Fehlers vorzubereiten, da er nicht versteht, was genau auf dem Schiff hätte passieren können, und er wird einfach keine unerklärlichen möglichen Probleme bemerken. Aber ein Mensch kann sich bereits vor Ort orientieren, basierend auf dem, was er gesehen hat und sich auf seine eigenen Schlussfolgerungen verlassen.



Zweitens wirft die Geschichte erneut die Frage nach den korrekten Aufgabenbereichen auf. Darin lag der Grund für den Fehler - der Algorithmus zum Starten des Motors für den Roboter wurde registriert, ohne die Unterschiede zu einer Person zu berücksichtigen. Infolgedessen übertreibe er einen falsch formulierten Befehl - und drückte den Auslöser:



–  , . , «. . » . , . ! , , . . : , .

–  …

–  , , . , . , … 


Es gibt viele ähnliche Geschichten, die teilweise veraltet zu sein scheinen, aber in vielerlei Hinsicht die Ereignisse der Zukunft vorwegnehmen, sowohl in Azimov als auch in anderen Schriftstellern. Es ist schade, dass wir immer noch keine so hoch entwickelten Roboter haben und Probleme und Fristen immer bei uns sind. Der große Science-Fiction-Autor hat dies richtig bemerkt.



All Articles