In Kürze
Moderne KI-Modelle wie GPT oder Llama sind Sprachmodelle, die auf Basis von Milliarden Texten trainiert wurden, das nächste wahrscheinliche Wort (Token) vorherzusagen. Die Transformer-Architektur ermöglicht dabei, Kontext über lange Texte hinweg zu verstehen. Halluzinationen entstehen, wenn das Modell plausible, aber falsche Antworten generiert – RAG löst dieses Problem durch Einbindung echter Dokumente.
Wie KI wirklich funktioniert
Von Token-Vorhersage bis zur Transformer-Architektur – die technischen Grundlagen moderner KI-Modelle verständlich erklärt.
1. Der Kern: Next-Token-Prediction
Wenn Sie ChatGPT oder ein anderes KI-Modell eine Frage stellen, passiert im Hintergrund etwas Überraschendes: Das Modell weiß die Antwort nicht – es berechnet sie Wort für Wort. Genauer gesagt: Token für Token.
Definition
Token
Ein Token ist die kleinste Einheit, mit der ein Sprachmodell Text verarbeitet. Es kann ein ganzes Wort sein ('Haus'), eine Silbe ('ge-', '-hen') oder ein Satzzeichen. Im Durchschnitt entsprechen 100 Token etwa 75 deutschen Wörtern.
Das Modell liest den gesamten bisherigen Text und berechnet für jeden möglichen nächsten Token eine Wahrscheinlichkeit. 'Die KI antwortet mit _____' – was ist am wahrscheinlichsten? 'einer' (32%), 'dem' (18%), 'der' (15%)... Das wahrscheinlichste Token gewinnt und wird ausgegeben. Dann wiederholt sich der Prozess.
KI-Modelle schreiben keinen Text, den sie 'wissen' – sie berechnen statistisch, welches Wort als nächstes am plausibelsten ist. Das erklärt sowohl ihre Stärken als auch ihre Grenzen.
Kernaussagen
- →LLMs funktionieren durch iterative Wahrscheinlichkeitsberechnung, nicht durch Nachschlagen in einer Faktendatenbank.
- →Die Qualität hängt direkt von der Qualität und Menge der Trainingsdaten ab.
2. Die Transformer-Architektur
Hinter jedem modernen Sprachmodell steckt dieselbe Grundarchitektur: der Transformer, entwickelt 2017 von Google-Forschern. Er revolutionierte die KI, weil er eine entscheidende Frage löste: Wie kann ein Modell verstehen, dass 'Die Bank ist voll' etwas anderes bedeutet, je nachdem ob 'Bank' eine Sitzgelegenheit oder ein Geldinstitut ist?
Definition
Self-Attention
Self-Attention ist der Kernmechanismus des Transformers. Für jedes Token berechnet er, wie relevant jedes andere Token im Kontext ist. Beim Wort 'Bank' schaut der Mechanismus auf alle anderen Wörter ('voll', 'Wartezimmer', 'Geld') und gewichtet, welche Bedeutung gemeint ist.
Die mathematische Grundlage: Jedes Token wird in drei Vektoren umgewandelt – Query (Q), Key (K) und Value (V). Die Attention-Formel berechnet dann für jedes Token-Paar eine Relevanz:
Attention(Q, K, V) = softmax( QKᵀ / √dₖ ) · VDer Transformer verarbeitet alle Token eines Textes gleichzeitig (parallel), nicht Wort für Wort. Das macht ihn drastisch schneller als frühere Architekturen und ermöglicht das Training auf Milliarden von Texten.
Kernaussagen
- →Self-Attention gibt dem Modell die Fähigkeit, Bedeutung aus dem Kontext zu erschließen.
- →Parallele Verarbeitung macht Transformer-Modelle trainierbar auf bisher unerreichbaren Datenmengen.
3. LLM vs. SLM: Größe ist nicht alles
Nicht jede KI-Aufgabe braucht ein Modell mit hundert Milliarden Parametern. Die KI-Welt hat erkannt: Kleinere, spezialisierte Modelle sind oft die bessere Wahl – besonders für Unternehmen.
| Eigenschaft | LLM (z.B. GPT-4) | SLM (z.B. Llama 3 8B) |
|---|---|---|
| Parameter | 100B – 1T+ | 1B – 20B |
| Betrieb | Cloud (extern) | Lokal / On-Premise |
| Datenschutz | Daten verlassen Haus | Daten bleiben intern |
| Kosten | Per-Token Abrechnung | Einmalige Hardware |
| Latenz | Netzwerkabhängig | Millisekunden lokal |
| Anpassung | Begrenzt (Prompting) | Fine-Tuning möglich |
| Geeignet für | Allgemeine Aufgaben | Spezialisierte Workflows |
Für Company-AI – KI direkt in Ihrem Unternehmen – sind SLMs oft die bessere Wahl: Sie laufen auf Ihren Servern, Ihre Daten bleiben intern, und durch Fine-Tuning werden sie auf Ihre Branche spezialisiert.
Kernaussagen
- →SLMs ermöglichen datenschutzkonforme KI ohne Cloud-Abhängigkeit.
- →Für unternehmensinternen Einsatz ist ein spezialisiertes SLM einem generalistischen LLM oft überlegen.
4. Das Halluzinationsproblem
KI-Modelle lügen nicht – aber sie halluzinieren. Das ist ein fundamentaler Unterschied, den jeder verstehen sollte, der mit KI arbeitet.
Definition
Halluzination
Eine KI-Halluzination ist eine sachlich falsche Aussage, die das Modell mit scheinbarer Überzeugung trifft. Das Modell erfindet keine Fakten absichtlich – es berechnet das statistisch wahrscheinlichste nächste Token, auch wenn das Ergebnis faktisch falsch ist.
Warum passiert das? Das Modell hat keine Datenbank mit verifizierten Fakten. Es hat Muster aus Milliarden Texten gelernt. Wenn eine Frage gestellt wird, zu der das Modell wenig Trainingsdaten hat, generiert es trotzdem eine 'plausibel klingende' Antwort – weil es statistisch das Richtige zu tun scheint.
Halluzinationen entstehen nicht aus Böswilligkeit, sondern aus statistischer Plausibilität ohne Faktenverankerung. Daher ist ein KI-System ohne Grounding in echten Unternehmensdaten für kritische Entscheidungen ungeeignet.
Kernaussagen
- →Halluzinationen sind ein inhärentes Merkmal probabilistischer Sprachmodelle.
- →Für unternehmenskritische Anwendungen ist Grounding in verifizierten Dokumenten zwingend erforderlich.
5. Die Lösung: RAG – Retrieval-Augmented Generation
RAG ist die wichtigste Technik, um KI-Modelle für den Unternehmenseinsatz tauglich zu machen. Die Idee ist elegant: Statt das Modell aus dem Gedächtnis antworten zu lassen, geben wir ihm vor jeder Antwort die relevanten Dokumente.
Definition
RAG (Retrieval-Augmented Generation)
RAG ist ein zweistufiger Prozess: (1) Retrieval – die Anfrage durchsucht eine Dokumentendatenbank und findet die relevantesten Abschnitte. (2) Generation – das Sprachmodell erhält diese Dokumente als Kontext und antwortet auf deren Basis. Das Modell kann nur auf echte Informationen verweisen, die es tatsächlich erhalten hat.
- Aktuelle Unternehmensdaten ohne Neutraining des Modells nutzbar
- Halluzinationen drastisch reduziert, da Antworten auf echten Dokumenten basieren
- Quellenangaben möglich: 'Laut Dokument XY...'
- DSGVO-konform: Dokumente verlassen das Unternehmen nicht
- Aktualisierbar: Neue Dokumente werden sofort verfügbar
RAG ist der Schlüssel zu zuverlässiger Unternehmens-KI: Das Modell antwortet nicht aus vagen Trainingserinnerungen, sondern auf Basis Ihrer aktuellen, internen Dokumentation.
Kernaussagen
- →RAG kombiniert die Sprachkompetenz von LLMs mit der Zuverlässigkeit einer Dokumentendatenbank.
- →Für Company-AI ist RAG die Kerntechnologie, die KI für interne Wissensmanagement-Anwendungen produktionsreif macht.
Häufig gestellte Fragen
- Was ist Next-Token-Prediction und wie funktioniert sie?
- Next-Token-Prediction ist der Kernmechanismus moderner Sprachmodelle (LLMs). Das Modell analysiert den bisherigen Text und berechnet für jedes mögliche nächste Wort (Token) eine Wahrscheinlichkeit. Das Token mit der höchsten Wahrscheinlichkeit (oder ein zufällig gewähltes aus den Top-Kandidaten) wird ausgegeben. Dieser Prozess wiederholt sich, bis ein vollständiger Satz oder Text entstanden ist.
- Was ist der Unterschied zwischen LLM und SLM?
- LLM steht für Large Language Model (z.B. GPT-4, Claude, Gemini) und hat Milliarden bis Billionen Parameter. SLM steht für Small Language Model (z.B. Llama 3 8B, Phi-3 Mini) und hat wenige Milliarden Parameter. LLMs sind leistungsfähiger bei komplexen Aufgaben, brauchen aber viel Rechenleistung. SLMs können lokal auf Unternehmensservern betrieben werden, sind schneller und datenschutzfreundlicher – ideal für Company-AI.
- Was sind Halluzinationen bei KI-Modellen?
- Halluzinationen bezeichnen Antworten, die ein KI-Modell mit großer Überzeugung gibt, obwohl sie faktisch falsch sind. Sie entstehen, weil das Modell keine Datenbank mit Fakten hat, sondern Wahrscheinlichkeiten berechnet. Wenn das Modell zu wenig Trainingsdaten zu einem Thema hat, generiert es 'plausibel klingende' aber falsche Inhalte. Gegen Halluzinationen hilft RAG (Retrieval-Augmented Generation).
- Was ist RAG (Retrieval-Augmented Generation)?
- RAG ist eine Technik, bei der ein KI-Modell vor der Antwortgenerierung relevante Dokumente aus einer Datenbank abruft und diese als Kontext nutzt. Das Modell antwortet dann auf Basis echter, aktueller Dokumente statt aus dem Trainings-Gedächtnis. Dadurch werden Halluzinationen drastisch reduziert und das Modell kann aktuelle Unternehmensdaten nutzen.
- Was ist die Transformer-Architektur?
- Die Transformer-Architektur ist die technische Grundlage aller modernen Sprachmodelle (GPT, Claude, Llama etc.). Ihr Kernmechanismus ist der 'Self-Attention'-Mechanismus, der es dem Modell erlaubt, beim Verarbeiten eines Wortes alle anderen Wörter im Kontext zu berücksichtigen. Die mathematische Formel lautet: Attention(Q,K,V) = softmax(QKᵀ/√dₖ)·V. Dies ermöglicht das Verständnis von Bedeutung und Zusammenhängen über lange Texte hinweg.