Chain-of-Thought Prompting (CoT) ist eine Prompt-Strategie, bei der das Sprachmodell dazu aufgefordert wird, seinen Denkprozess explizit Schritt für Schritt zu formulieren, bevor es eine abschließende Antwort gibt.
Rubrik: GenAI & Content Creation · Unterrubrik: Prompt Engineering · Niveau: Fortgeschritten
Synonyme / Auch bekannt als: Kettendenken, Reasoning Prompting, Step-by-Step Prompting, CoT
Was ist Chain-of-Thought Prompting?
In der bahnbrechenden Studie von Wei et al. (2022) wurde gezeigt: Wenn man einem Sprachmodell explizit beibringt (über Few-Shot-Beispiele), seinen Denkprozess vor der Antwort zu artikulieren, verbessert sich die Genauigkeit bei komplexen Aufgaben dramatisch. Das Modell halluziniert weniger, übersieht weniger Zwischenschritte und kommt häufiger zum richtigen Ergebnis.
Der Grund ist im Transformermodell selbst begründet: Jedes erzeugte Token beeinflusst die folgenden Tokens. Wenn das Modell gezwungen wird, Zwischenschritte zu generieren, kann es auf diese bei der Berechnung der Endantwort zurückgreifen – effektiv wie ein erweiterter Arbeits-Speicher.
Erklärung
Grundform: Explizites CoT
Die direkteste Variante: Die Aufforderung „Denke Schritt für Schritt" oder „Let's think step by step" am Ende eines Prompts (Zero-Shot CoT, Kojima et al., 2022).
``` Frage: Ein Laden hat 12 Äpfel. Er verkauft 4 und bekommt dann 7 neue. Anschließend werden 3 verdorbene entfernt. Wie viele Äpfel hat er jetzt?
Denke Schritt für Schritt: ```
Das Modell gibt dann: ```
- Start: 12 Äpfel
- Minus 4 verkaufte: 12 - 4 = 8 Äpfel
- Plus 7 neue: 8 + 7 = 15 Äpfel
- Minus 3 verdorbene: 15 - 3 = 12 Äpfel
Antwort: 12 Äpfel. ```
Few-Shot CoT
Statt einfach „Schritt für Schritt" zu sagen, liefert man dem Modell Beispiele, bei denen Schritt-für-Schritt-Denken demonstriert wird:
``` Frage: Maria hat 5 Bücher. Sie leiht 2 aus und kauft 4 neue. Wie viele hat sie? Denkprozess: Start 5 Bücher. Minus 2 ausgeliehene = 3. Plus 4 neue = 7. Antwort: 7
Frage: Tom hat 20 Euro. Er kauft für 8 Euro Brot und für 6 Euro Käse. Denkprozess: [...] ```
Zero-Shot CoT
Einfachste Variante: Nur der Satz „Let's think step by step." / „Denke Schritt für Schritt." ans Ende des Prompts anhängen (Kojima et al., 2022). Überraschend wirksam ohne jegliche Beispiele.
Tree of Thoughts (ToT)
Tree of Thoughts (Yao et al., 2023) erweitert CoT: Statt einem linearen Gedankengang exploriert das Modell mehrere parallele Denkpfade (Äste) und bewertet sie, bevor es den vielversprechendsten weiterverfolgt.
`` Aufgabe: Entwickle 3 verschiedene Lösungsansätze für [Problem]. Bewerte jeden Ansatz nach Machbarkeit und Effektivität. Wähle dann den besten Ansatz und führe ihn aus. ``
ToT eignet sich besonders für kreative Problemlösungen, Planungsaufgaben und Szenarien mit mehreren Lösungswegen.
Weitere Varianten
Self-Consistency (Wang et al., 2022): Das Modell generiert mehrere CoT-Pfade und „stimmt" dann über die häufigste Antwort ab. Verbessert Zuverlässigkeit bei Rechenaufgaben erheblich.
Least-to-Most Prompting (Zhou et al., 2022): Komplexe Aufgaben werden in immer einfachere Teilaufgaben zerlegt und sequenziell gelöst. Besonders wirksam bei mehrstufigen Problemen.
Program-of-Thought (Chen et al., 2022): Das Modell generiert statt natürlichsprachlicher Schritte ausführbaren Code als Denkprozess. Hochpräzise bei mathematischen Problemen.
Beispiele
Beispiel Analyseaufgabe (Journalismus):
``` Du bist Investigativjournalist. Analysiere die folgende Pressemitteilung auf mögliche Framing-Strategien.
Pressemitteilung: [Text]
Denke Schritt für Schritt:
- Identifiziere den Absender und seine möglichen Interessen
- Analysiere die verwendete Sprache (positiv/negativ konnotierte Wörter)
- Prüfe, was in der Mitteilung fehlt oder vermieden wird
- Ziehe eine Gesamtbewertung
```
Beispiel Komplexe Entscheidung:
``` Wir überlegen, ob wir unseren Newsletter auf KI-generierte Inhalte umstellen. Analysiere die Vor- und Nachteile methodisch:
Schritt 1: Potenzielle Vorteile auflisten Schritt 2: Potenzielle Risiken auflisten Schritt 3: Kritische Erfolgsfaktoren identifizieren Schritt 4: Empfehlung formulieren ```
In der Praxis
Wann CoT einsetzen?
CoT ist besonders wirksam bei:
- Mathematischen und logischen Problemen
- Mehrstufigen Planungsaufgaben
- Analyse- und Bewertungsaufgaben
- Debugging und Fehlersuche
- Argumentationsaufbau
Für einfache Abrufaufgaben (Wissensabfragen, direkte Übersetzungen) bringt CoT keinen Mehrwert – im Gegenteil, es verlangsamt die Ausgabe.
Strukturierungsformeln für CoT
Bewährte Einstiegsphrasen:
- „Denke Schritt für Schritt:"
- „Lass uns das systematisch angehen:"
- „Zerlege das Problem in Teilschritte:"
- „Vor deiner Antwort: Zeige deinen Denkprozess."
- „Analysiere zuerst, dann antworte:"
- „Schritt 1: [...] Schritt 2: [...] Schritt 3: [...]" (vorstrukturiert)
Kombination mit anderen Techniken
CoT entfaltet seinen vollen Nutzen in Kombination:
- CoT + [Rollen-Prompting (Roleplay Prompting)](/wiki/genai-content-creation/prompt-engineering/rollenprompting/): „Als erfahrener Statistiker – denke Schritt für Schritt durch diese Datenproblem..."
- CoT + [System Prompts](/wiki/genai-content-creation/prompt-engineering/system-prompts/): System Prompt legt CoT als Standard für alle Anfragen fest
- CoT + [Prompt Chaining](/wiki/genai-content-creation/prompt-engineering/prompt-chaining/): Jedes CoT-Ergebnis wird Eingabe für den nächsten Schritt
Vergleich & Abgrenzung
CoT vs. direktes Antworten: Ohne CoT antwortet das Modell direkt – schneller, aber fehleranfälliger bei komplexen Aufgaben. CoT ist langsamer (mehr Tokens), aber zuverlässiger.
CoT vs. [Few-Shot Prompting](/wiki/genai-content-creation/prompt-engineering/few-shot-prompting/): Few-Shot liefert Beispiele, CoT strukturiert den Denkprozess. Optimale Strategie: Few-Shot CoT kombiniert beides.
CoT vs. Tree of Thoughts: CoT ist ein linearer Gedankenpfad. ToT exploriert mehrere Pfade parallel. ToT ist mächtiger, aber aufwändiger zu implementieren.
Häufige Fragen (FAQ)
Funktioniert CoT bei jedem Modell? CoT ist besonders wirksam bei großen Modellen (GPT-4, Claude 3.5, Gemini 1.5 Pro). Bei kleineren Modellen ist der Effekt geringer – diese haben weniger interne Kapazität für komplexes Reasoning.
Muss ich immer explizit „Schritt für Schritt" schreiben? Neuere, gut instruierte Modelle aktivieren CoT-ähnliches Verhalten auch implizit bei komplexen Aufgaben. Explizite Aufforderung hilft aber besonders bei Grenzfällen.
Wie lang sollten die CoT-Schritte sein? Das hängt von der Aufgabe ab. Für Rechenaufgaben reichen kurze Schritte. Für komplexe Analysen können ausführlichere Zwischenüberlegungen hilfreich sein.
Verwandte Einträge
Weiterführend
- Wei, Jason et al. (2022): Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. (Originalpaper)
- Kojima, Takeshi et al. (2022): Large Language Models are Zero-Shot Reasoners. NeurIPS 2022. (Zero-Shot CoT)
- Wang, Xuezhi et al. (2022): Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR 2023.
- Yao, Shunyu et al. (2023): Tree of Thoughts: Deliberate Problem Solving with Large Language Models. NeurIPS 2023.
- Zhou, Denny et al. (2022): Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023.
- DAIR.AI (2023): Chain-of-Thought Prompting. promptingguide.ai/techniques/cot.
