Welche Einstellungen eignen sich für faktenbasierte Aufgaben?

Für präzise, faktenbasierte Antworten empfiehlt sich eine niedrige Temperatur, etwa 0.2, eventuell kombiniert mit Top-P um 0.9 oder Top-K um 5. Das passt zum Beispiel für Zusammenfassungen, Textextraktion oder Code-Generierung. Für kreative Aufgaben wie Brainstorming ist dagegen eine höhere Temperatur sinnvoll.

Was ist der Unterschied zwischen Top-K und Top-P?

Top-K beschränkt die Auswahl auf eine feste Anzahl der wahrscheinlichsten nächsten Tokens. Top-P wählt dagegen dynamisch so viele Tokens aus, bis deren kumulierte Wahrscheinlichkeit einen Schwellenwert erreicht. Dadurch passt sich Top-P der Situation an: Ist das Modell sehr sicher, bleibt die Auswahl klein, sonst wird sie größer.

Ein Token ist die grundlegende Einheit, die ein Sprachmodell verarbeitet. Das kann ein ganzes Wort sein, oft aber auch ein Wortteil, ein einzelnes Zeichen oder ein Satzzeichen. Über die maximale Anzahl an Ausgabe-Tokens legen Sie fest, wie lang eine Antwort höchstens werden darf.

Gibt es eine optimale Standardeinstellung?

Nein. Die passenden Werte hängen stark von der jeweiligen Aufgabe ab. Am zuverlässigsten finden Sie sie, indem Sie verschiedene Werte für Temperatur, Top-K und Top-P testen und vergleichen, wie sich die Antworten verändern.

Grundlagen: Steuern der Ausgabe von Sprachmodellen

Nachdem Sie auf der Einführungsseite erfahren haben, was Prompt Engineering ist, tauchen wir nun tiefer ein. Ein wichtiger Aspekt beim Umgang mit Large Language Models (LLMs) ist die Möglichkeit, die Art der generierten Antwort zu beeinflussen. LLMs bieten dafür verschiedene "Regler" oder Parameter. Das Verständnis dieser Einstellungen ist entscheidend, um die Balance zwischen Präzision, Kreativität, Länge und Stil der KI-Antworten zu finden.

Die wichtigsten Konfigurationsparameter im Überblick:

1. Ausgabelänge (Max Output Tokens)

Dieser Parameter bestimmt, wie lang die Antwort des Modells maximal sein darf. Die Länge wird üblicherweise in Tokens gemessen.

Was ist ein Token? Ein Token ist die grundlegende Einheit, die das LLM verarbeitet. Es ist nicht immer ein ganzes Wort. Oft sind es Wortteile, einzelne Zeichen, Satzzeichen oder ganze Wörter.

Warum ist das wichtig? Mit diesem Parameter können Sie erzwingen, dass das Modell sich kurz fasst (z.B. für Überschriften oder Zusammenfassungen) oder dass es genügend "Platz" für ausführliche Erklärungen oder längere Texte hat.

2. Temperatur (Temperature)

Die Temperatur ist einer der wichtigsten Regler zur Steuerung der Zufälligkeit und damit der "Kreativität" der Modellausgabe.

Niedrige Temperatur (z.B. 0.1 - 0.4): Das Modell verhält sich deterministischer und wählt hauptsächlich die Wörter aus, die es als am wahrscheinlichsten für die Fortsetzung des Textes hält.

Ergebnis: Fokussierte, kohärente, oft konservativere und vorhersehbarere Antworten.
Ideal für: Faktenbasierte Fragen, Code-Generierung, Zusammenfassungen, Textextraktion.

Hohe Temperatur (z.B. 0.7 - 1.0+): Das Modell berücksichtigt auch weniger wahrscheinliche Wörter stärker, was die Zufälligkeit erhöht.

Ergebnis: Kreativere, vielfältigere, manchmal überraschende oder neuartige Antworten.
Ideal für: Brainstorming, kreatives Schreiben (Gedichte, Geschichten), Ideenfindung, Dialoge.

Die Temperatur funktioniert wie ein Thermostat für Kreativität: niedrig für kühle Fakten, hoch für kreative Vielfalt.

3. Top-K Sampling

Wenn das Modell das nächste Wort auswählt, berechnet es Wahrscheinlichkeiten für alle möglichen Tokens in seinem Vokabular. Top-K ist eine Methode, diese Auswahl einzuschränken:

Funktionsweise: Das Modell betrachtet nur die K wahrscheinlichsten nächsten Tokens und wählt zufällig (unter Berücksichtigung der Temperatur) aus dieser kleineren Gruppe aus.

Beispiel: Bei K=5 werden nur die 5 wahrscheinlichsten nächsten Wörter berücksichtigt, alle anderen ignoriert.

Effekt: Reduziert die Wahrscheinlichkeit, dass sehr unwahrscheinliche oder unsinnige Wörter gewählt werden.

4. Top-P (Nucleus) Sampling

Top-P ist eine alternative und oft bevorzugte Methode zur Einschränkung der Wortauswahl:

Funktionsweise: Statt einer festen Anzahl (K) wählt Top-P dynamisch eine Gruppe der wahrscheinlichsten Tokens aus, deren kumulierte Wahrscheinlichkeit einen bestimmten Schwellenwert P (z.B. 0.9 = 90%) erreicht oder überschreitet.

Vorteil: Passt sich der Situation an. Wenn das Modell sehr sicher ist, welches Wort folgen sollte, wählt Top-P nur dieses eine Wort aus. Wenn viele Wörter ähnlich wahrscheinlich sind, wird eine größere Gruppe berücksichtigt.

Das Zusammenspiel der Parameter

Die Kunst liegt darin, diese Parameter gemeinsam zu nutzen. Die optimalen Einstellungen hängen stark von der spezifischen Aufgabe ab:

Szenario 1: Sie benötigen eine präzise, faktenbasierte Antwort:

Empfehlung: Niedrige Temperatur (z.B. 0.2), eventuell kombiniert mit Top-P (z.B. 0.9) oder Top-K (z.B. 5).

Szenario 2: Sie möchten eine kreative Geschichte schreiben lassen:

Empfehlung: Höhere Temperatur (z.B. 0.75), kombiniert mit Top-P (z.B. 0.9) oder Top-K (z.B. 50).

Fazit

Es gibt keine universell "besten" Einstellungen. Der effektivste Weg, diese Parameter zu meistern, ist das Experimentieren. Testen Sie verschiedene Werte für Temperatur, Top-K und Top-P und beobachten Sie, wie sich die Antworten des Modells verändern.

Häufig gestellte Fragen

Die Temperatur steuert die Zufälligkeit der Ausgabe. Bei niedriger Temperatur wählt das Modell überwiegend die wahrscheinlichsten Wörter und antwortet fokussiert und vorhersehbar. Bei hoher Temperatur berücksichtigt es auch weniger wahrscheinliche Wörter, wodurch die Antworten vielfältiger und kreativer werden.

Nächster Schritt: Lernen Sie die grundlegenden Prompting-Techniken kennen, um dem Modell klare Aufgaben zu geben.