Fortgeschrittene Technik: Chain-of-Thought (CoT) Prompting

Eine der wirkungsvollsten Methoden, um die Leistung von Large Language Models (LLMs) bei Aufgaben zu verbessern, die logisches Denken, Mathematik oder komplexe Schlussfolgerungen erfordern, ist das Chain-of-Thought (CoT) Prompting. Der Name ist Programm: Statt das Modell direkt zur finalen Antwort springen zu lassen, wird es dazu angeregt, eine Kette von Gedanken – also eine nachvollziehbare Schritt-für-Schritt-Herleitung – zu produzieren.

Was ist Chain-of-Thought (CoT) Prompting?

Die Kernidee ist, das LLM dazu zu bringen, ein Problem in logische Zwischenschritte zu zerlegen und diese explizit aufzuschreiben, bevor es die endgültige Antwort gibt. Dies ähnelt dem menschlichen Vorgehen beim Lösen komplexer Probleme: Wir denken oft in Schritten, bauen auf vorherigen Überlegungen auf und kommen so zur Lösung.

Warum funktioniert das? Indem das Modell seine Argumentation offenlegen muss, widmet es dem Problem mehr “Aufmerksamkeit” und Rechenschritte. Es wird weniger wahrscheinlich, dass es voreilige Schlüsse zieht oder wichtige Details übersieht. Zudem wird der “Denkprozess” des Modells transparent und nachvollziehbar.

Wie funktioniert es? (Die Magie von “Schritt für Schritt”)

Es gibt zwei Hauptvarianten, CoT zu aktivieren:

1. Zero-Shot CoT

Diese Methode ist überraschend einfach und effektiv, besonders bei sehr großen Modellen. Du fügst lediglich eine einfache Phrase am Ende deines Prompts hinzu, die das Modell zum schrittweisen Denken auffordert.

• Der Trigger: Eine Phrase wie “Denken wir Schritt für Schritt nach.” oder “Lass uns das Schritt für Schritt durchgehen.” (im Englischen oft: “Let’s think step by step.”).
• Vorteil: Keine Beispiele notwendig, einfach zu implementieren.

Beispiel (Logikrätsel):

Prompt (Standard):
F: In einem Raum sind 3 Personen: Alice, Bob und Charlie. Alice ist größer als Bob. Bob ist größer als Charlie. Wer ist die größte Person?
A: Alice. (Korrekt, aber ohne Herleitung)

Prompt (Zero-Shot CoT):
F: In einem Raum sind 3 Personen: Alice, Bob und Charlie. Alice ist größer als Bob. Bob ist größer als Charlie. Wer ist die größte Person?
A: Denken wir Schritt für Schritt nach.
1. Wir wissen: Alice > Bob.
2. Wir wissen: Bob > Charlie.
3. Wenn Alice größer als Bob ist und Bob größer als Charlie ist, dann muss Alice auch größer als Charlie sein (Transitivität).
4. Daher ist Alice die größte der drei Personen.
Die größte Person ist Alice. (Korrekte Herleitung sichtbar)

2. Few-Shot CoT

Bei dieser Methode gibst du dem Modell ein oder mehrere vollständige Beispiele, die nicht nur die Frage und die Antwort enthalten, sondern auch die dazwischenliegenden Denkschritte detailliert aufzeigen.

• Vorteil: Gibt dem Modell eine sehr klare Vorlage, wie es seine Argumentation strukturieren soll. Besonders nützlich für Aufgaben mit spezifischen oder komplexen Denkprozessen, bei denen Zero-Shot CoT möglicherweise nicht ausreicht.
• Struktur: Du demonstrierst das gewünschte Format Frage -> Denkprozess -> Antwort in deinen Beispielen.

Beispiel (Struktur für eine mathematische Aufgabe):

Prompt:
[Beispiel 1]
Frage: Ein Zug fährt um 14:00 Uhr ab und braucht 2 Stunden 30 Minuten. Wann kommt er an?
Denkprozess: Startzeit ist 14:00 Uhr. Dauer ist 2 Stunden und 30 Minuten. 14:00 + 2 Stunden = 16:00 Uhr. 16:00 Uhr + 30 Minuten = 16:30 Uhr.
Antwort: 16:30 Uhr

[Deine Frage]
Frage: Lisa kauft 4 Äpfel zu je 0,50€ und 2 Birnen zu je 0,70€. Wie viel bezahlt sie insgesamt?
Denkprozess:
Antwort:

(Das Modell würde dann den Denkprozess und die Antwort für Lisas Einkauf generieren)

Warum CoT nutzen? (Vorteile)

• Verbesserte Leistung: Führt oft zu signifikant besseren Ergebnissen bei Aufgaben, die Arithmetik, Alltagslogik, symbolisches Denken oder andere Formen mehrstufiger Schlussfolgerungen erfordern.
• Transparenz & Interpretierbarkeit: Man kann nachvollziehen, wie das Modell zur Lösung kommt.
• Fehlersuche: Wenn die Antwort falsch ist, kann man oft in der Gedankenkette sehen, wo der Fehler liegt.
• Systematische Problemlösung: Fördert eine strukturierte Herangehensweise an komplexe Probleme.

Anwendungstipps

• Nutze CoT immer dann, wenn eine Aufgabe über einfaches Faktenwissen hinausgeht und eine Herleitung oder mehrere Denkschritte erfordert.
• Zero-Shot CoT: Experimentiere mit verschiedenen Formulierungen des Triggers (z.B. “Erkläre deine Vorgehensweise”, “Zeige deine Rechenschritte”).
• Few-Shot CoT: Die Qualität deiner Beispiele ist entscheidend! Stelle sicher, dass die Denkschritte in den Beispielen logisch korrekt, klar und leicht nachvollziehbar sind.

Fazit

Chain-of-Thought Prompting ist ein Meilenstein im Prompt Engineering. Es ermöglicht LLMs, ihr Potenzial für komplexes Denken besser zu entfalten, indem es sie anleitet, ihre Arbeitsschritte offenzulegen. Es ist ein unverzichtbares Werkzeug für jeden, der LLMs für anspruchsvolle Aufgaben nutzen möchte.

Nächster Schritt: Wie kann man die Zuverlässigkeit von CoT noch weiter verbessern? Das erfährst du auf der nächsten Seite über Self-Consistency.