Chain-of-Thought Prompting ist eine Prompt-Engineering-Technik, bei der ein Nutzer ein großes Sprachmodell anweist, ein Problem einen Schritt nach dem anderen zu durchdenken und dabei die Zwischengedanken offenzulegen, die zur endgültigen Antwort führen. Anstatt direkt zu einem Schluss zu springen, schreibt das Modell die logischen Schritte in natürlicher Sprache auf, ähnlich wie ein Schüler, der bei einer Mathearbeit seine Rechnung zeigt. Die Technik wurde von Wei et al. (2022) in Chain-of-Thought Prompting Elicits Reasoning in Large Language Models populär gemacht und ist seitdem zu einem Grundpfeiler des modernen Prompt-Designs geworden.
Wie Chain-of-Thought Prompting funktioniert
Die Grundidee ist verblüffend einfach. Wenn ein Prompt ein oder mehrere ausgearbeitete Beispiele enthält, in denen das Modell eine Gedankenkette demonstriert — „zuerst mache ich X, dann berechne ich Y, daher Z" — neigt das Modell dazu, diese Struktur auf das neue Problem zu übertragen. Dies wird als Few-Shot-Chain-of-Thought-Prompting bezeichnet und erfordert keine Änderungen an den Modellgewichten; nur der Prompt ändert sich.
Eine neuere Variante, Zero-Shot-Chain-of-Thought genannt, wurde von Kojima et al. (2022) eingeführt. Sie funktioniert, indem sie an jede Frage einen einzelnen magischen Satz wie Let's think step by step anhängt, was allein schon ausreicht, um das Modell dazu zu bringen, das Problem zu zerlegen. Beide Varianten nutzen dieselbe zugrunde liegende Fähigkeit: ausreichend große Sprachmodelle haben interne Prozeduren für Arithmetik und Logik erlernt, und das Offenlegen dieser Prozeduren als Text verbessert die Antwortgenauigkeit messbar.
Warum es wichtig ist
Chain-of-Thought Prompting ist wichtig, weil es direkt eine der sichtbarsten Fehlermodi von LLMs bekämpft: zuversichtlich falsche One-Shot-Antworten bei mehrstufigen Problemen. Indem das Modell gezwungen wird, sein Denken zu externalisieren, reduziert die Technik Rechenfehler, verbessert die Leistung in Commonsense-Benchmarks und macht das Modellverhalten leichter überprüfbar, da ein Mensch jeden Schritt nachvollziehen kann. Es ist mittlerweile ein Baustein für fortgeschrittenere Methoden wie Self-Consistency (das Sampling vieler Ketten und das Abstimmen über die Antwort), Tree-of-Thought-Suche und die Reasoning-Traces moderner Reasoning-Modelle.
Wichtige Varianten
- Few-Shot CoT: Der Prompt enthält mehrere handgeschriebene Beispiele, die schrittweises Denken vor der eigentlichen Frage demonstrieren. In der Regel die zuverlässigste Herangehensweise für kleinere Modelle.
- Zero-Shot CoT: Einfach „Let's think step by step" (oder einen ähnlichen Auslöser) zu jedem Prompt hinzufügen. Kostengünstig und überraschend effektiv bei fähigen Modellen.
- Self-Consistency: Viele unabhängige Gedankengänge sampeln und die häufigste finale Antwort auswählen, wobei Rechenleistung gegen Genauigkeit getauscht wird.
- Tree-of-Thought: Das Modell verzweigen lassen und mehrere Denkpfade erkunden, dann schwache Pfade zurücksetzen oder beschneiden — nützlich für Rätsel und Planungsaufgaben.
- Reasoning-Model-Traces: Neuere Modelle wie die der o-Serie und DeepSeek-R1 werden explizit darauf trainiert, standardmäßig nativ lange Chain-of-Thought-Reasoning zu erzeugen.
Chain-of-Thought Prompting hat „zeige deine Rechnung" von einer Klassenregel in ein leistungsstarkes, allgemein einsetzbares Werkzeug verwandelt, um zuverlässigere Antworten aus großen Sprachmodellen herauszuholen.