KI beherrscht die Sprache. Sollen wir dem vertrauen, was er sagt?

“Ich denke, es ermöglicht uns, Sicherheitsfragen durchdachter und bewusster anzugehen”, sagt Altman. „Teil unserer Strategie ist: Allmähliche Veränderungen in der Welt sind besser als plötzliche Veränderungen. Oder, wie OpenAI VP Mira Murati es ausdrückte, als ich sie nach der Arbeit des Sicherheitsteams fragte, die den offenen Zugang zu Software einschränkt: „Wenn wir lernen wollen, wie man diese leistungsstarken Technologien einsetzt, fangen wir an, wenn der Einsatz sehr gering ist.

Während GPT-3 selbst läuft auf diesen 285.000 CPU-Kernen im Iowa-Supercomputer-Cluster, OpenAI wird im Mission District von San Francisco in einer renovierten Gepäckfabrik betrieben. Im November letzten Jahres traf ich dort Ilya Sutskever, der versuchte, einem Laien erklären zu lassen, wie GPT-3 tatsächlich funktioniert.

“Hier ist die Idee hinter GPT-3”, sagte Sutskever aufmerksam und beugte sich in seinem Stuhl vor. Er hat eine faszinierende Art, Fragen zu beantworten: ein paar Fehlversuche – „Ich kann Ihnen eine Beschreibung geben, die fast mit der übereinstimmt, nach der Sie gefragt haben“ – unterbrochen von langen kontemplativen Pausen, als würde er die ganze Antwort im Voraus planen.

„Die Idee hinter GPT-3 ist ein Weg, einen intuitiven Begriff des Verstehens mit etwas zu verbinden, das mechanisch gemessen und verstanden werden kann“, sagte er schließlich, „und das ist die Aufgabe, das nächste Wort im Text vorherzusagen. „Andere Formen der künstlichen Intelligenz versuchen, Informationen über die Welt fest zu codieren: Schachstrategien von Großmeistern, Prinzipien der Klimatologie. Aber die Intelligenz von GPT-3, wenn Intelligenz das richtige Wort ist, kommt von unten nach oben: durch die grundlegende Handlung, das nächste Wort vorherzusagen. Um GPT-3 zu trainieren, erhält das Modell eine „Aufforderung“ – ein paar Sätze oder Textabschnitte aus beispielsweise einem Zeitungsartikel, einem Roman oder einer wissenschaftlichen Arbeit – und wird dann gebeten, eine Liste potenzieller Wörter vorzuschlagen, die vervollständigt werden könnten die Folge, geordnet nach Wahrscheinlichkeit. In den frühen Stadien des Trainings sind die vorgeschlagenen Wörter Unsinn. Fordern Sie den Algorithmus mit einem Satz wie „Der Autor hat das allerletzte Wort des ersten ausgelassen . . . ” und die Vermutungen werden eine Art Unsinnsstrom sein: ” Satellit ” ” Welpe ” ” Seattle ” ” also ”. Aber irgendwo in der Liste – vielleicht Tausende von Wörtern in der Liste – erscheint das richtige fehlende Wort: „Absatz“. Die Software stärkt dann alle zufälligen neuronalen Verbindungen, die diesen bestimmten Vorschlag generiert haben, und schwächt alle Verbindungen, die zu falschen Vermutungen geführt haben. Und dann geht es zum nächsten Prompt. Mit der Zeit lernt die Software bei genügend Iterationen dazu.

Im vergangenen Januar fügte OpenAI eine Funktion hinzu, die es Benutzern ermöglichte, GPT-3 direkte Anweisungen als Aufforderung zu geben, anstatt es nur zu bitten, eine Beispieltextpassage zu entwickeln. Zum Beispiel gab ich GPT-3 einmal im „Instruct“-Modus die Aufforderung: „Schreibe einen Aufsatz über die Rolle der Metafiktion in der Arbeit von Italo Calvino.“ Zurück, die Software lieferte fünf spezifische Absätze, die wie folgt begannen :

Der italienische Autor Italo Calvino gilt als Meister der Metafiktion, eines Schreibgenres, bei dem der Autor die vierte Wand niederreißt, um den Akt des Schreibens selbst zu diskutieren. Für Calvino ist Metafiktion eine Möglichkeit, die Natur der Realität zu erforschen und wie Geschichten unsere Wahrnehmung der Welt prägen können. Seine Romane enthalten oft spielerische und labyrinthische Strukturen, die mit den Grenzen zwischen Realität und Fiktion spielen. In Wenn in einer Winternacht ein Reisender zum Beispiel wird der Leser ständig von Diskussionen auf Metaebene über den Akt des Lesens und die Natur des Geschichtenerzählens unterbrochen. . . .

Sie können GPT-3 immer wieder genau dieselbe Aufforderung geben, und jedes Mal wird es eine einzigartige Antwort erzeugen, von denen einige überzeugender als andere, aber fast alle bemerkenswert artikuliert sind. Unterrichtsaufforderungen können alle möglichen Formen annehmen: „Gib mir eine Liste aller Zutaten für Bolognese-Sauce“, „Schreibe ein Gedicht über ein französisches Küstendorf im Stil von John Ashbery“, „Erkläre den Urknall in einer Sprache und 8 -Jährige werden es verstehen.“ Die ersten paar Male, als ich GPT-3-Prompts dieser Art fütterte, fühlte ich, wie mir ein echter Schauer über den Rücken lief. Es schien fast unmöglich, dass eine Maschine einen so klaren, reaktionsschnellen Text generieren könnte, der vollständig auf einem elementaren Vorhersagetraining für das nächste Wort basiert.

Aber KI hat eine lange Geschichte darin, die Illusion von Intelligenz oder Verständnis zu erzeugen, ohne die Ware tatsächlich zu liefern. In einem viel diskutiertes Papier Im vergangenen Jahr veröffentlicht, sagten die Linguistikprofessorin Emily M. Bender von der University of Washington, der ehemalige Google-Forscher Timnit Gebru und eine Gruppe von Co-Autoren, dass die großen Sprachmodelle nur „stochastische Papageien“ seien: Das heißt, die Software verwendete Randomisierung, um Sätze einfach neu zu mischen von Menschen geschrieben. “Was sich geändert hat, ist kein Schritt über eine Schwelle in Richtung ‘KI'”, sagte mir Bender kürzlich per E-Mail. Was sich geändert habe, sagt sie, seien vielmehr „die Hardware-, Software- und wirtschaftlichen Innovationen, die die Anhäufung und Verarbeitung riesiger Datensätze ermöglichen“ – sowie eine technologische Kultur, in der „die Leute, die solche Dinge bauen und verkaufen, mit dem Bauen davonkommen sie auf nicht kuratierten Datenbanken.“