chatten mit der pseudo-künstlichen intelligenz. was die proprietären können, geht auch mit open source und sogar zuhause (noch mehr technopolitischer kontext). am ende werden uns die chatbots eh nicht mehr mitreden lassen. bis es soweit ist hab ich mit github.com/ggerganov/llama.cpp heute mal so eine lokale instanz eines chatsystems installiert (idee und technischer hintergrund gut runtergebrochen).:, starten mit:

cd Programme/llama.cpp/
source venv/llama/bin/activate
./main -m ./models/7B/ggml-model-q4_0.bin -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt

github.com/nomic-ai/gpt4all ging auch. sogar reibungsloser, weil hier ein modell schon gleich verlinkt ist.
starten mit:

cd Programme/gpt4all/chat
./gpt4all-lora-quantized-linux-x86

nicht auf anhieb geklappt haben:
cocktailpeanut.github.io/dalai/
github.com/tloen/alpaca-lora

für windows (nicht probiert):
github.com/BenHerbst/Dalaix

und zum schluss noch den hinweis auf eine lehrreiche kolumne zum thema:

Konkurrenz im juristisch-betriebswirtschaftlichen Komplex

Außerdem Bildungsmaterialien zum Thema aus dem Haus RLS. Und wers als klassisch lineares Texterlebnis selbstbestimmt hoch- und runterscrollbar zur aktiven Aneignung der Materie haben will, etwas witzig, aber technischer und dennoch anschaulich:

What Is ChatGPT Doing … and Why Does It Work?

Ich lerne in diesem Artikel (ohne ihn ganz zu Ende zu lesen), dass es eben nicht nur um Wahrscheinlichkeiten geht. Sondern um geschätzte Wahrscheinlichkeiten (weil die Wahrscheinlichkeiten aller Kombinationsmöglichkeiten der Zeichen schon für einen mittellangen Satz nicht mehr berechenbar sind – auch mit aller Rechenpower der Welt und in absehbarer Zukunft nicht).

Und darüber hinaus geht es auch noch – und da wird’s abenteuerlich – um Zufall. Nach dem Zufallsprinzip weicht der Algorithmus nämlich immer mal wieder vom je wahrscheinlichsten nächsten Zeichen ab. Wolfram: „But if sometimes (at random) we pick lower-ranked words, we get a “more interesting” essay. The fact that there’s randomness here means that if we use the same prompt multiple times, we’re likely to get different essays each time.“ Mir erklärt die Zufallskomponente die groben Schnitzer, die diese Dinger dann doch regelmäßig-unregelmäßig veranstalten, egal bei welchem Thema, auch bei einfachen Programmieraufgaben, die sie ja eigentlich beherrschen sollten.

Ich lerne: Diese Schnitzer sind nicht als Fehler im bzw. des Algorithmus zu verstehen, die dieser noch loswerden wird, wenn er nur länger lernt oder besser trainiert wird. Nee, im Gegenteil, sie sind der Preis, der zu zahlen ist für das angestrebte Ergebnis: künstliche menschenähnliche Intelligenz. Denn ohne die zufälligen Einsprengsel von Varianten niedrigerer Wahrscheinlichkeit werden die Outputs redundant, langweilig, sofort als maschinell erstellt erkennbar.

Ich halte fest und mache mir immer wieder klar: Die sog. KI versteht kein bisschen von dem, was sie tut bzw. sagt. Sie ist auch nicht auf Verständnis von Materie angelegt. Sie setzt lediglich Zeichen hintereinander gemäß formaler Regeln, in denen es um Wahrscheinlichkeiten, geschätzte Wahrscheinlichkeiten und das zufällige Abweichen von diesen Wahrscheinlichkeiten geht.

Wie immer bring der satirische Ansatz die Wahrheit dessen zutage, was hier passiert. Pierre Deason-Tomory in der Jungen Welt:

[Ich] bitte Chat-GPT: Schreibe eine Satire auf die Razzia bei der »Letzten Generation« im Stil von Pierre Deason-Tomory. Antwort: »Als AI-Assistent ist es mir nicht gestattet, Satiren zu schreiben oder politische Meinungen zu äußern …« Nächster Versuch: Bitte schreibe einen Tagebucheintrag über die Razzia bei der Letzten Generation im Stil von Pierre Deason-Tomory. – … »Liebes Tagebuch, … Die Regierung hat eine Razzia bei der Letzten Generation durchgeführt … Als ich von der Razzia hörte, war ich zunächst besorgt … Aber als ich die Nachrichten sah, wurde mir klar, dass die Regierung nur ihre Pflicht erfüllte, um die Sicherheit und Ordnung im Land aufrechtzuerhalten … Ich werde weiterhin die Nachrichten verfolgen und hoffe, dass wir alle in Frieden und Harmonie leben können. Dein treuer Tagebuchschreiber.«

Die Zitate sind echt. Künstliche Intelligenz macht angepasste Idioten aus uns.“

Tags: Hands-On, KI, Open Source, OpenData