Noam Chomsky über die Zukunft des tiefen Lernens

In den letzten Wochen war ich per E-Mail mit meinem Lieblings-Anarchosyndikalisten Noam Chomsky zusammen. Ich habe ihn zuerst gefragt, ob seine jüngsten Entwicklungen bei ANNs (künstlichen neuronalen Netzen) ihn gezwungen haben, seine berühmte linguistische Theorie der universellen Grammatik zu überdenken. Unser Gespräch berührte die möglichen Grenzen des tiefen Lernens, wie gut ANN tatsächlich ein biologisches Gehirn modelliert, und sprach auch über philosophische Themen. Ich werde Professor Chomsky hier nicht direkt zitieren, da unsere Diskussion informell war, aber ich werde versuchen, die wichtigsten Ergebnisse zusammenzufassen.



Und übrigens, gestern, am 7. Dezember, wurde Noam Chomsky 92 Jahre alt!

kf "Captain Fantastic"




Ein bisschen über Noam Chomsky



Noam Chomsky ist in erster Linie Professor für Linguistik (viele nennen ihn "den Vater der modernen Linguistik"), aber außerhalb der Wissenschaft ist er wahrscheinlich besser als Aktivist, Philosoph und Historiker bekannt. Chomsky ist Autor von über 100 Büchern und wurde in einer Umfrage von Foreign Policy and Prospect aus dem Jahr 2005 als der weltweit führende öffentliche Intellektuelle anerkannt .



Ich bewundere Chomskys Arbeit, insbesondere seine Kritik am amerikanischen Imperialismus, Neoliberalismus und den Medien. Unsere Ansichten gingen etwas auseinander, was seine Ablehnung der kontinentalen Philosophen (insbesondere der französischen Poststrukturalisten) betraf. Ich war vielleicht in meinem frühen Erwachsenenalter von zu vielen Anleihen aus den Quellen von Foucault, Lacan und Derrida befallen, aber ich fand Chomskys analytische Herangehensweise an die Philosophie immer moralisch ansprechend, aber ein wenig "verfeinert" für eine zufriedenstellende Erklärung unserer Welt. Während seine Verachtung für diese poststrukturellen Leuchten auffällig ist, sind Chomskys philosophische Ansichten subtiler als seine Kritiker glauben.



Universelle Grammatik



Ich muss sofort sagen, dass ich kein Linguist bin, aber in diesem Teil des Artikels werde ich versuchen, einen Überblick über die Theorie der universellen Grammatik zu geben. Vor Chomsky war die vorherrschende Hypothese in der Linguistik, dass Menschen mit einem tabula rasa-Geist geboren werden und Sprache durch Verstärkung erwerben. Das heißt, Kinder hören, was ihre Eltern sagen, ahmen nach, was sie gehört haben, und wenn sie ein Wort richtig verwenden oder einen Satz bilden, werden sie gelobt. Chomsky zeigte, dass Verstärkung nur ein Teil des Prozesses ist und dass das menschliche Gehirn angeborene universelle Strukturen haben muss, um den Spracherwerb zu erleichtern. Seine Hauptargumente waren:



  1. Kinder lernen die Sprache zu schnell und es gibt zu wenig Daten, um dies durch verstärktes Lernen zu erklären (ein Argument, das als "Anreizarmut" bekannt ist).

  2. , , . 1960- , , 10 , .

  3. . , , .

  4. . , , , , .



Diese Theorie der genetisch hart codierten Sprachfähigkeit fand in der wissenschaftlichen Gemeinschaft breite Akzeptanz, aber die offensichtliche Frage war: "Wie sieht diese universelle Grammatik aus?" Bald begannen mutige Forscher, die gemeinsamen Eigenschaften aller menschlichen Sprachen zu entdecken, aber es besteht immer noch kein Konsens darüber, wie unsere angeborenen Sprachfähigkeiten aussehen. Man kann davon ausgehen, dass eine universelle Grammatik nicht aus bestimmten syntaktischen Regeln besteht, sondern höchstwahrscheinlich eine grundlegende kognitive Funktion ist.



Chomsky postulierte, dass der Mensch irgendwann in der Geschichte die Fähigkeit entwickelte, einen einfachen rekursiven Prozess namens "Fusion" durchzuführen, der für die Eigenschaften und Einschränkungen syntaktischer Strukturen in menschlichen Sprachen verantwortlich ist. Es ist ein bisschen abstrakt (und zu kompliziert, um es richtig zu machen), aber im Wesentlichen ist "Zusammenführen" der Prozess, zwei Objekte zu nehmen und sie zu einem neuen Objekt zu kombinieren. Trotz der scheinbar prosaischen Natur täuscht die Fähigkeit, Konzepte mental zu kombinieren und rekursiv zu tun, und ermöglicht es uns, "eine unendliche Vielfalt hierarchisch strukturierter Ausdrücke" zu schaffen. Dieser kleine, aber entscheidende genetische Sprung erklärt möglicherweise nicht nur unsere Fähigkeit zur verbalen Kommunikation, sondern führt auch dazudass er (zumindest teilweise) für unsere mathematischen Talente und unsere menschliche Kreativität im weiteren Sinne verantwortlich sein könnte. Diese „Fusions“ -Mutation, die vor etwa 100.000 Jahren bei einem unserer Vorfahren auftrat, kann eines der wichtigsten Dinge sein, die Menschen von anderen Tieren trennen.



Künstliche neuronale Netz



Der Hauptgrund, warum ich Professor Chomsky kontaktierte, war folgender: Ich wollte seine Ansichten über künstliche neuronale Netze hören (ich weiß viel mehr über sie als über Linguistik). ANN ist eine Untergruppe von Modellen für maschinelles Lernen, die dem menschlichen Gehirn nachempfunden sind und auf ähnliche Weise lernen: anhand vieler Beispiele. Solche Modelle erfordern sehr wenig Code und können eine relativ breite Palette komplexer Aufgaben (z. B. Bildkennzeichnung, Spracherkennung, Texterzeugung ) mit einer relativ einfachen Architektur ausführen . Ein lehrreiches Beispiel für diesen Ansatz ist das AlphaGo- Modell. (entwickelt von Google), der lernte, wie man Go spielt (ein schwieriges, problematisches Brettspiel) und schließlich für die menschlichen Weltmeister unbesiegbar wurde. Das Beeindruckendste daran ist, dass sie darauf trainiert wurde, ohne fest codierte Regeln oder menschliches Eingreifen zu spielen, das heißt, das Modell war "tabula rasa". Während ANN sicherlich keine perfekte Analogie zum menschlichen Gehirn ist, fragte ich den Professor, ob ANNs sagen, dass wir nicht wirklich hartcodierte kognitive Strukturen brauchen, um aus verstreuten Daten zu lernen.







Chomsky wies zutreffend darauf hin, dass ANNs für hochspezialisierte Aufgaben nützlich sind, diese Aufgaben sollten jedoch stark eingeschränkt sein (obwohl ihr Volumen angesichts des Speichers und der Geschwindigkeit moderner Computer sehr groß erscheinen kann). Er verglich ANN mit einem massiven Kran, der an einem Hochhaus arbeitete. Obwohl solche Arbeiten sicherlich beeindruckend sind, existieren sowohl das Gebäude als auch der Kran in festen Begrenzungssystemen. Diese Argumentation steht im Einklang mit meiner Beobachtung, dass alle Durchbrüche beim tiefen Lernen, die ich beobachtet habe, in ganz bestimmten Bereichen stattgefunden haben, und wir scheinen in der allgemeinen künstlichen Intelligenz (was auch immer das bedeutet) so etwas nicht nahe zu kommen. Chomsky wies auch auf die wachsenden Beweise hin, dass ANNs die kognitiven Fähigkeiten des Menschen, die vergleichsweise reich an sind, nicht genau modellieren könnendass sich die beteiligten Computersysteme sogar auf die Zellebene erstrecken können.



Wenn Chomsky Recht hat (und ich denke, dass er Recht hat), welche Auswirkungen hat die Weiterentwicklung der Deep-Learning-Forschung? Schließlich ist das menschliche Gehirn nichts Magisches. Es ist nur eine physikalische Struktur, die aus Atomen besteht, und daher ist es ziemlich vernünftig zu glauben, dass wir irgendwann in der Zukunft eine künstliche Version des Gehirns schaffen können, die zu generalisierter Intelligenz fähig ist. Vor diesem Hintergrund bieten moderne ANNs nur ein Simulacrum dieser Art von Erkenntnis, und nach Chomskys Logik werden wir diese nächste Grenze nicht erreichen, ohne zuerst unser Verständnis der Funktionsweise organischer neuronaler Netze zu vertiefen.



Moralischer Relativismus







Die ethische Anwendung von KI ist ein Hauptproblem der heutigen Datenwissenschaftler, kann jedoch in einem anderen spezifischen Bereich manchmal vage und subjektiv erscheinen. Chomskys Arbeit bietet nicht nur eine einzigartige technische Perspektive auf die Zukunft des tiefen Lernens. Die universelle Grammatik hat auch tiefgreifende moralische Implikationen, da wir in der Sprache über die Welt sprechen und sie interpretieren. Zum Beispiel glaubt Chomsky, dass die oben erwähnten angeborenen neuronalen Strukturen moralischen Relativismus ausschließen und dass es universelle moralische Einschränkungen geben muss. Es gibt viele verschiedene Arten des moralischen Relativismus, aber das Grundprinzip ist, dass es keine objektive Grundlage für ethische Definitionen geben kann. Moralische Relativisten argumentieren, dass wir zwar tief an Aussagen wie "Sklaverei ist unmoralisch" glauben mögen,Wir haben keine empirische Möglichkeit, dies denen zu beweisen, die mit uns nicht einverstanden sind, da alle Beweise notwendigerweise auf Werturteilen beruhen und unsere Werte letztendlich exogen sind und von Kultur und Erfahrung bestimmt werden.



Chomsky argumentiert, dass sich Moral im Gehirn manifestiert und daher per Definition ein biologisches System ist. Alle biologischen Systeme haben Variationen (natürlich und aufgrund unterschiedlicher Reize), aber diese Variationen haben auch Grenzen. Betrachten Sie das menschliche visuelle System: Experimente haben gezeigt, dass es eine gewisse Flexibilität aufweist und von Erfahrungen geprägt ist (insbesondere in der frühen Kindheit). Durch Variieren der Daten, die in das menschliche visuelle System gelangen, kann man die Verteilung der Rezeptoren buchstäblich ändern und dadurch die Art und Weise ändern, wie eine Person horizontale und vertikale Linien wahrnimmt. Was Sie nicht tun können, ist, das menschliche Auge in ein Insektenauge zu verwandeln oder jemandem die Möglichkeit zu geben, Röntgenstrahlen zu sehen. Laut Chomsky können biologische Systeme (einschließlich der Moral) stark variieren, aber nicht unendlich.Er fährt fort, dass Sie, selbst wenn Sie glauben, dass unsere Moral vollständig aus der Kultur stammt, diese Kultur auf die gleiche Weise erwerben müssen, wie Sie jedes System erwerben (als Ergebnis angeborener kognitiver Strukturen, die universell sind).



Meine erste Ergänzung zu dem, was in diesem Artikel gesagt wurde, ist folgende: Wenn wir annehmen, dass Moral einfach eine Folge von "Fusion" (oder etwas ähnlich Primitivem) ist, dann ist dies meine Intuition, obwohl dies theoretische Grenzen setzen kann dass sich unsere Moral so wild ändern kann, dass es fast unmöglich ist, universelle Urteile zu fällen. Chomsky hat in der Vergangenheit darüber diskutiert, wie moralischer Fortschritt bestimmten Trends zu folgen scheint (z. B. Unterschiede akzeptieren, Unterdrückung aufgeben usw.), aber ich habe Schwierigkeiten zu verstehen, wie diese breiten Trends konsequent entstehen werden solche einfachen atomaren kognitiven Strukturen. Als ich mit dem Professor darüber sprach, argumentierte er, dass diese Ansicht illusorisch ist und dass Dinge, die wir nicht verstehen, vielfältiger und komplexer erscheinen.als es wirklich ist. Er gab ein Beispiel für die Abweichung, die in den Skeletten von Tierkörpern nach der kambrischen Explosion beobachtet wurde. Noch vor 60 Jahren herrschte in der Biologie die Ansicht vor, dass sich Organismen so stark verändern, dass jeder von ihnen einzeln untersucht werden muss. Jetzt wissen wir, dass dies völlig falsch ist und dass die genetischen Unterschiede zwischen den Arten recht gering sind. Variationen in komplexen gekauften Systemen sollten minimal sein, sonst könnten wir sie nicht erwerben.Variationen in komplexen gekauften Systemen sollten minimal sein, sonst könnten wir sie nicht erwerben.Variationen in komplexen gekauften Systemen sollten minimal sein, sonst könnten wir sie nicht erwerben.



Bild


Vergessen Sie nicht den Promo-Code HABR , der den Rabatt auf das Banner um 10% erhöht .








All Articles