Kategorien
My Collection
Deutsch
📖

Was ist Chain-of-Thought Prompting?

Chain-of-Thought Prompting ist eine Technik, die ein LLM auffordert, vor der Antwort Schritt für Schritt zu argumentieren, was die Genauigkeit bei Mathe-, Logik- und mehrstufigen Problemen erhöht.

Chain-of-Thought Prompting ist eine Prompt-Engineering-Technik, bei der ein Nutzer ein großes Sprachmodell anweist, ein Problem einen Schritt nach dem anderen zu durchdenken und dabei die Zwischengedanken offenzulegen, die zur endgültigen Antwort führen. Anstatt direkt zu einem Schluss zu springen, schreibt das Modell die logischen Schritte in natürlicher Sprache auf, ähnlich wie ein Schüler, der bei einer Mathearbeit seine Rechnung zeigt. Die Technik wurde von Wei et al. (2022) in Chain-of-Thought Prompting Elicits Reasoning in Large Language Models populär gemacht und ist seitdem zu einem Grundpfeiler des modernen Prompt-Designs geworden.

Wie Chain-of-Thought Prompting funktioniert

Die Grundidee ist verblüffend einfach. Wenn ein Prompt ein oder mehrere ausgearbeitete Beispiele enthält, in denen das Modell eine Gedankenkette demonstriert — „zuerst mache ich X, dann berechne ich Y, daher Z" — neigt das Modell dazu, diese Struktur auf das neue Problem zu übertragen. Dies wird als Few-Shot-Chain-of-Thought-Prompting bezeichnet und erfordert keine Änderungen an den Modellgewichten; nur der Prompt ändert sich.

Eine neuere Variante, Zero-Shot-Chain-of-Thought genannt, wurde von Kojima et al. (2022) eingeführt. Sie funktioniert, indem sie an jede Frage einen einzelnen magischen Satz wie Let's think step by step anhängt, was allein schon ausreicht, um das Modell dazu zu bringen, das Problem zu zerlegen. Beide Varianten nutzen dieselbe zugrunde liegende Fähigkeit: ausreichend große Sprachmodelle haben interne Prozeduren für Arithmetik und Logik erlernt, und das Offenlegen dieser Prozeduren als Text verbessert die Antwortgenauigkeit messbar.

Warum es wichtig ist

Chain-of-Thought Prompting ist wichtig, weil es direkt eine der sichtbarsten Fehlermodi von LLMs bekämpft: zuversichtlich falsche One-Shot-Antworten bei mehrstufigen Problemen. Indem das Modell gezwungen wird, sein Denken zu externalisieren, reduziert die Technik Rechenfehler, verbessert die Leistung in Commonsense-Benchmarks und macht das Modellverhalten leichter überprüfbar, da ein Mensch jeden Schritt nachvollziehen kann. Es ist mittlerweile ein Baustein für fortgeschrittenere Methoden wie Self-Consistency (das Sampling vieler Ketten und das Abstimmen über die Antwort), Tree-of-Thought-Suche und die Reasoning-Traces moderner Reasoning-Modelle.

Wichtige Varianten

  • Few-Shot CoT: Der Prompt enthält mehrere handgeschriebene Beispiele, die schrittweises Denken vor der eigentlichen Frage demonstrieren. In der Regel die zuverlässigste Herangehensweise für kleinere Modelle.
  • Zero-Shot CoT: Einfach „Let's think step by step" (oder einen ähnlichen Auslöser) zu jedem Prompt hinzufügen. Kostengünstig und überraschend effektiv bei fähigen Modellen.
  • Self-Consistency: Viele unabhängige Gedankengänge sampeln und die häufigste finale Antwort auswählen, wobei Rechenleistung gegen Genauigkeit getauscht wird.
  • Tree-of-Thought: Das Modell verzweigen lassen und mehrere Denkpfade erkunden, dann schwache Pfade zurücksetzen oder beschneiden — nützlich für Rätsel und Planungsaufgaben.
  • Reasoning-Model-Traces: Neuere Modelle wie die der o-Serie und DeepSeek-R1 werden explizit darauf trainiert, standardmäßig nativ lange Chain-of-Thought-Reasoning zu erzeugen.

Chain-of-Thought Prompting hat „zeige deine Rechnung" von einer Klassenregel in ein leistungsstarkes, allgemein einsetzbares Werkzeug verwandelt, um zuverlässigere Antworten aus großen Sprachmodellen herauszuholen.

Häufig gestellte Fragen

Do all large language models benefit from chain-of-thought prompting?
The benefit scales with model size. The original 2022 paper found meaningful gains only on models with roughly 100B+ parameters, while smaller models often produced fluent but incorrect reasoning. Modern frontier models, including most released since 2023, respond well to chain-of-thought prompting across a wide range of tasks.
What is the difference between chain-of-thought prompting and chain-of-thought training?
Chain-of-thought prompting is a technique applied at inference time: the user simply asks the model to reason step by step, and no training occurs. Chain-of-thought training, sometimes called fine-tuning on reasoning traces, involves updating the model's weights on datasets of worked solutions so it produces step-by-step reasoning by default. The two are complementary and often combined.
Is chain-of-thought prompting the same as letting the model "think out loud"?
Functionally, yes, but the distinction matters for evaluation. "Thinking out loud" describes any free-form monologue, while chain-of-thought is a specific structured approach that has been measured against baselines and shown to improve accuracy on benchmarks such as GSM8K for math and StrategyQA for commonsense reasoning. The key is that the chain is decomposed into discrete, verifiable steps rather than left as a single fluid paragraph.
Does chain-of-thought prompting always make models more accurate?
No. It helps most on tasks that require multi-step arithmetic, logical deduction, or commonsense reasoning. For simple factual lookups, single-step classification, or creative writing, adding "think step by step" can add verbosity without improving — and occasionally hurting — performance. It also does not guarantee correctness: a chain of thought can be confidently wrong, which is why techniques like self-consistency and verification steps are often layered on top.
Weiter entdecken Durchsuchen Sie das gesamte Verzeichnis kuratierter KI-Tools.
Alle Apps durchsuchen KI-Glossar