KI bleibt Thema, ich habe hier auf dem Blog die Freisetzung von KI-Algorithmen beobachtet, eine polit-ökonomische Monographie annotiert und die Richtung einer grundsätzlichen Herrschaftskritik skizziert. Dennoch habe ich auch anhand eigener Spielereien mit Open-Source-Varianten den Möglichkeitsraum dieser Werkzeuge angetestet und dabei viel gelernt.

Ein Lernerlebnis möchte ich besonders hervorheben, weil es nicht nur zentral ist, sondern notwendig, um zu begreifen, was Große Sprachmodelle überhaupt tun und können, aber eben auch nicht können. Große Sprachmodelle (large language models, LLMs) bilden die Klasse von „KI“, um die es gerade hauptsächlich geht, mit ChatGPT (OpenAI/Microsoft) als ihrem prominentesten Vertreter. Aber auch die anderen Großkonzerne sind alle mit ihren je eigenen Modellen dabei.

Mein Lernerlebnis in einem Satz: Ich habe gelernt, dass LLMs den Aufbau ihrer Aussagen u.a. mit Hilfe von Zufallsentscheidungen betreiben. Und dieses Funktionsmerkmal sollte doch in den gesellschaftlichen Debatten um den Einsatz von LLMs nicht nur eine größere, sondern überhaupt mal eine Rolle spielen.

Gelernt hab ich das bei der vergnüglichen Lektüre eines Erklärbär-Artikels des Mathematikers Stephen Wolfram:

What Is ChatGPT Doing … and Why Does It Work?

Ohne den Artikel, der eigentlich ein kleines Büchlein ist, ganz zu Ende lesen zu müssen, begreife ich, dass es eben nicht nur um Wahrscheinlichkeiten über große Datenmengen geht, wie meist suggeriert wird. Sondern erstmal geht es um geschätzte Wahrscheinlichkeiten (weil die Wahrscheinlichkeiten aller Kombinationsmöglichkeiten der Zeichen schon für einen mittellangen Satz nicht mehr berechenbar sind – auch mit aller Rechenpower der Welt und in absehbarer Zukunft nicht).

Und darüber hinaus geht es auch noch – und da wird’s mit Blick auf den gesellschaftlichen Einsatz abenteuerlich – um Zufall. Nach dem Zufallsprinzip weicht der Algorithmus nämlich immer mal wieder vom je wahrscheinlichsten nächsten Zeichen („token“) ab. Wolfram:

But if sometimes (at random) we pick lower-ranked words, we get a “more interesting” essay. The fact that there’s randomness here means that if we use the same prompt multiple times, we’re likely to get different essays each time.“

Mir erklärt die Zufallskomponente die groben Schnitzer, die diese Dinger dann doch regelmäßig-unregelmäßig veranstalten, egal bei welchem Thema, auch bei einfachen Programmieraufgaben, die sie ja eigentlich beherrschen sollten. Die fehlerträchtige Zufallskomponente ist aber durchaus gewollt, denn „unpredictability can help computer scientists solve otherwise intractable problems“, erklärt das Quanta-Magazine. „Emergence leads to unpredictability, and unpredictability — which seems to increase with scaling — makes it difficult for researchers to anticipate the consequences of widespread use“, so ein anderer Artikel des gleichen herausgeberunabhängigen, stiftungsfinanzierten Magazins.

Abgesehen davon, dass es den „lernenden“ Systemen egal ist, ob sie von echten oder synthetischen Daten lernen, lerne ich auch: Diese Schnitzer sind nicht als Fehler im bzw. des Algorithmus zu verstehen, die dieser noch loswerden wird, wenn er nur länger lernt oder besser trainiert wird. Nee, im Gegenteil, sie sind der Preis, der zu zahlen ist für das angestrebte Ergebnis: künstliche menschenähnliche Intelligenz. Denn ohne die zufälligen Einsprengsel von Varianten niedrigerer Wahrscheinlichkeit werden die Outputs redundant, langweilig, sofort als maschinell erstellt erkennbar.

Pierre Deason-Tomory in der Jungen Welt:

[Ich] bitte Chat-GPT: Schreibe eine Satire auf die Razzia bei der »Letzten Generation« im Stil von Pierre Deason-Tomory. Antwort: »Als AI-Assistent ist es mir nicht gestattet, Satiren zu schreiben oder politische Meinungen zu äußern …« Nächster Versuch: Bitte schreibe einen Tagebucheintrag über die Razzia bei der Letzten Generation im Stil von Pierre Deason-Tomory. – … »Liebes Tagebuch, … Die Regierung hat eine Razzia bei der Letzten Generation durchgeführt … Als ich von der Razzia hörte, war ich zunächst besorgt … Aber als ich die Nachrichten sah, wurde mir klar, dass die Regierung nur ihre Pflicht erfüllte, um die Sicherheit und Ordnung im Land aufrechtzuerhalten … Ich werde weiterhin die Nachrichten verfolgen und hoffe, dass wir alle in Frieden und Harmonie leben können. Dein treuer Tagebuchschreiber.«

Die Zitate sind echt. Künstliche Intelligenz macht angepasste Idioten aus uns.“

Die Kritik der politischen Dummheit, auf die der satirische Ansatz abzielt, verweist auf etwas anderes, einen Lernkorridor, eine Art weltanschauliche Vorprägung, die der Lern(vor)geschichte derartiger Algorithmen anscheinend eingeschrieben ist und die diese zu verallgemeinern drohen, wenn wir (Menschen) sie als Autorität akzeptieren. Aber für eine solche Unterwerfung gibt es nun wirklich keine sachliche Begründung. LLMs sind Werkzeuge, die wir sinnvoll nutzen können, wenn wir uns klar machen, wie sie funktionieren und wofür sie geeignet sind.

Gerade für Anfragen bzw. Arbeitsaufträge, die komplexer werden und dennoch nur eine einzige mögliche und auch angebbare Lösung haben, taugen sie nicht. Ebensowenig für Probleme, für deren Lösungen es klare qualitative Bewertungskriterien gibt. Die Empirie bestätigt mich an diesem Punkt erfreulich zeitnah: Microsoft versucht weiterhin, den Hype zu reiten, indem sie ihre bzw. die von OpenAI eingekaufte LLM in die mittlerweile ebenfalls zu Microsoft gehörige Code-Entwicklungs-Plattform Github einbauen („GitHub Copilot„) und der Coder-Community das Blaue vom Himmel versprechen. Google, hype-politisch im Hintertreffen, kehrt – ob aus diskurs-taktischen Gründen oder nicht, ist mir egal – die Schattenseiten der Verwendung ihres hauseigenen „KI“-Agenten namens Bard hervor und formuliert eine ausdrückliche Warnung an die eigene Belegschaft:

Cautioning its own workers not to directly use code generated by Bard undermines Google’s claims its chatbot can help developers become more productive. The search and ads dominator told Reuters its internal ban was introduced because Bard can output „undesired code suggestions.“ Issues could potentially lead to buggy programs or complex, bloated software that will cost developers more time to fix than if they didn’t use AI to code at all.“

Bei dieser Warnung geht es nicht nur um Betriebsgeheimnisse, wie der Artikelanlauf zunächst vermuten lässt, sondern klipp und klar um mangelhafte Code-Qualität, also minderwertigen Gebrauchswert. Auch auf konzeptioneller Ebene habens die LLMs mitunter schwer, so haben sie etwa grundsätzliche Probleme mit dem Konzept der Verneinung.

Die von LLM-Agenten vorgeschlagene Lösung lauten mal so und mal anders, je nach Zufall eben. Da kann dann zufällig auch mal ein beeindruckender Lösungsvorschlag dabei sein, ja. Aber den muss man dann auch als solchen erkennen können, und dazu braucht es nach wie vor menschliche Intelligenz mit – und das ist essenziell – gut ausgebildetem Sachverstand und Zeit zum Nachdenken. Die von der – gemessen am Sachverhalt – korrekten Antwort abweichenden Ausgaben sind – gemessen am Algorithmus – nicht als Fehler zu betrachten, sondern als korrektes Ergebnis auf Basis der Zufallskomponente. Kritische Infrastruktur etwa möchte ich von sowas nicht designed haben.

Aber auch anderswo relativiert sich der KI-Enthusiasmus bei genauerem Hinsehen bzw. Begreifen. Eine Untersuchung in einem Krankenhaus hat gezeigt (leider finde ich die Quelle nicht mehr): Ein LLM macht weniger Fehler als eine durchschnittlich gute Pflegekraft, aber deutlich mehr als eine sehr gute – unter den gegebenen Arbeitsbedingungen. Pflegepersonal, dem die Verhältnisse es ermöglichen exzellente Arbeit zu leisten, braucht keine Angst zu haben vor vermeintlich künstlich-intelligenter Konkurrenz. Nach wie vor sollten wir eher Angst haben vor beschissenen Arbeitsverhältnissen und deren Auswirkungen (und uns dagegen organisieren) und daran arbeiten, menschen-unwürdige Arbeit an Maschinen zu delegieren, die möglichst fehlerfrei arbeiten.

—-

L!NX, die digitale Lernplattform der RLS, hat das Thema „Künstliche Intelligenz“ am Beispiel ChatGPT schon ausführlich aufgearbeitet:

Tags: Algorithmen, Big Data, KI