Löst ChatGPT bald Google ab? Oder Buchautoren und Journalisten? Eventuell sogar Programmierer? Iryna Gurevych, Leiterin des Lehrstuhls für Computer Science an der TU Darmstadt und Expertin für Sprachmodelle, sieht ChatGPT zwar in vielen Gebieten auf einem guten Weg – aber bis zur Ablösung von Suchmaschinen oder ganzen Berufen sei dieser Weg noch lang.

Obwohl die Oberfläche von ChatGPT wie eine Suchmaschine aussieht, kann der künstliche Agent deutlich mehr: Er liefert Fakten und Definitionen, kann Computerprogramme schreiben und sogar Konversationen führen. Sogar als Schreibassistent lässt er sich verwenden – man kann beispielsweise nach einem Text für die Eröffnungsrede einer Veranstaltung fragen, „und das Modell macht einen Vorschlag, was man in solchen Situationen typischerweise sagt. Und das sieht in vielen Fällen erstaunlich echt und menschlich aus“, sagt Gurevych im FAZ-Podcast „Künstliche Intelligenz“.

Das Modell wurde speziell für Dialoge optimiert. Dafür wurde ChatGPT mit Trainingsdaten und Reinforcement Learning mit menschlichem Feedback trainiert. Deshalb sehen die Ergebnisse wie ein menschlicher Dialog aus. Darüber hinaus lernt es auch die „besseren Antworten“ für einen gegebenen Kontext, berichtet Gurevych. Dennoch bleiben bei der aktuellen Version des Sprachmodells viele Themen offen. So ist der Code der von dem US-amerikanischen Unternehmen OpenAI entwickelten Software nicht einsehbar, so dass über die genaue Funktionsweise nur spekuliert werden kann. Klar ist: ChatGPT kann nur Informationen wiedergeben, die in seinem Trainingsdatensatz enthalten waren.

„Ich habe ChatGPT die Frage gestellt, auf welchem Korpus es trainiert wurde,“ berichtet Gurevych. Darauf antwortete das Modell, dass eine Vielzahl öffentlich verfügbarer Dokumente wie Webseiten, Bücher und andere Texte eingeflossen sind, die allerdings nur bis 2021 datiert waren. Das Modell könne deshalb weniger gut mit zeitlichen Aspekten umgehen und keinerlei Informationen über aktuelle Entwicklungen liefern. Denn ChatGPT hat nach eigenen Angaben keinen Zugriff auf Suchmaschinen – im Gegensatz etwa zum Blenderbot von Facebook. Spannend werde es, wenn verschiedene Technologien in diesem Bereich integriert werden. „ChatGPT und Google mit Lamda sind heute komplementär, können aber in Zukunft eventuell miteinander verschmelzen.“ Lamda ist der KI-Chatbot von Google.

Auch längere Texte, zum Beispiel für Bücher, in denen komplexe Zusammenhänge erklärt werden, sind aktuell noch sehr schwierig. Allerdings soll die nächste Sprachversion GPT4, die im Frühjahr 2023 erscheinen soll, rund 500 Mal mehr Parameter enthalten – und damit auch komplexere Zusammenhänge erkennen.

ChatGPT beschreibt sich selbst: ChatGPT ist ein neuronales Netzwerkmodell, das von OpenAI entwickelt wurde und für die Generierung von Text verwendet wird. Es wurde speziell für die Verwendung in Chatbots und anderen Anwendungen entwickelt, in denen es menschenähnliche Konversationen führen soll. Das Modell wurde auf der Grundlage von GPT-3, einem der leistungsstärksten automatischen Textgenerierungssysteme, trainiert. Es hat die Fähigkeit, menschenähnliche Antworten auf Fragen und Anfragen zu generieren, indem es auf eine Vielzahl von Datenquellen zugreift und diese Informationen nutzt, um die Antworten zu formulieren. Eines der interessanten Dinge an ChatGPT ist, dass es in der Lage ist, sich an den Kontext der Unterhaltung anzupassen und entsprechend zu antworten. Dies bedeutet, dass es in der Lage ist, auf Fragen und Anfragen in einer Weise zu antworten, die für den Nutzer relevant und verständlich ist.

Die Folge ist Teil unseres Podcasts „Künstliche Intelligenz“. Er geht den Fragen nach, was KI kann, wo sie angewendet wird, was sie bereits verändert hat und welchen Beitrag sie in der Zukunft leisten kann. Für den Podcast hat die F.A.Z. mit Peter Buxmann und Holger Schmidt zwei ausgewiesene KI-Experten an Bord geholt.