Few-Shot Prompting

Few-Shot Prompting ist eine Prompt-Technik, bei der dem Sprachmodell einige wenige Beispiel-Paare (Input → Output) als Kontext mitgegeben werden, damit es das gewünschte Ausgabemuster erkennt und auf neue Eingaben überträgt.

Rubrik: GenAI & Content Creation · Unterrubrik: Prompt Engineering · Niveau: Fortgeschritten

Synonyme / Auch bekannt als: In-Context Learning, Example-Based Prompting, N-Shot Prompting

Was ist Few-Shot Prompting?

Few-Shot Prompting basiert auf einem grundlegenden Merkmal großer Sprachmodelle: Ihrer Fähigkeit, Muster im Kontext zu erkennen und auf neue Inputs anzuwenden – ohne dass ihre Gewichte angepasst werden müssen. Brown et al. (2020) demonstrierten mit GPT-3, dass Sprachmodelle allein durch Beispiele im Prompt neue Aufgaben lösen können, für die sie nicht explizit trainiert wurden.

Der Begriff leitet sich aus dem Maschinenlernen ab: Few-Shot Learning bezeichnet dort die Fähigkeit, neue Konzepte aus wenigen Beispielen zu lernen. Im Kontext von LLMs meint es die Demonstration des gewünschten Formats und Verhaltens durch Beispielpaare direkt im Prompt.

Erklärung

Grundstruktur

Ein Few-Shot Prompt hat folgendes Muster:

``` [Aufgabenbeschreibung (optional)]

Beispiel 1: Input: [Eingabe 1] Output: [Gewünschte Ausgabe 1]

Beispiel 2: Input: [Eingabe 2] Output: [Gewünschte Ausgabe 2]

Beispiel 3: Input: [Eingabe 3] Output: [Gewünschte Ausgabe 3]

Input: [Neue Eingabe] Output: ```

Das Modell erkennt das Muster der Input-Output-Paare und generiert für die neue Eingabe eine Ausgabe im selben Stil.

Varianten nach Beispielanzahl

Die optimale Anzahl hängt von der Aufgabe ab: Zu viele Beispiele können das Kontextfenster belasten; zu wenige liefern nicht genug Information.

Wirkungsweise im Modell

Beim Lesen der Beispiele baut das Modell interne Repräsentationen des Musters auf. Diese informieren, wie nachfolgende Tokens generiert werden. Wichtig: Das Modell "lernt" nicht im Sinne von Gewichtsanpassung – es nutzt Kontext-Attention-Mechanismen, um die Beispielstruktur auf neue Inputs zu übertragen.

Forschungen zeigen, dass dabei folgende Faktoren besonders wichtig sind (Min et al., 2022):

1. Das Format der Beispiele ist wichtiger als deren inhaltliche Korrektheit
2. Konsistenz in Struktur und Trennzeichen zwischen Beispielen
3. Ähnlichkeit der Beispiel-Inputs zur tatsächlichen Aufgabe

Optimale Beispielauswahl

Nicht jedes Beispiel ist gleich gut. Kriterien für gute Few-Shot-Beispiele:

• Repräsentativität: Beispiele sollten typische Fälle abdecken
• Diversität: Verschiedene Varianten des Problems zeigen
• Klarheit: Das erwünschte Ausgabemuster eindeutig demonstrieren
• Korrektheit: Fehler in Beispielen übertragen sich auf die Ausgabe
• Relevanz: Ähnlichkeit zum tatsächlichen Anwendungsfall

Beispiele

Anwendungsfall Sentimentanalyse:

``` Klassifiziere den Satz als POSITIV, NEGATIV oder NEUTRAL.

Satz: "Das Konzert war fantastisch!" Klassifikation: POSITIV

Satz: "Die Lieferung kam zwei Wochen zu spät." Klassifikation: NEGATIV

Satz: "Das Paket wiegt 500 Gramm." Klassifikation: NEUTRAL

Satz: "Der Kundenservice hat mir sofort geholfen." Klassifikation: ```

Anwendungsfall Textrestrukturierung:

``` Wandle den informellen Satz in einen professionellen Businesston um.

Informell: "Kannst du mal kurz bei uns vorbeischauen?" Professionell: "Wir würden uns über einen Besuch in unserem Unternehmen freuen."

Informell: "Das läuft super bei uns!" Professionell: "Die Geschäftsentwicklung verläuft sehr erfreulich."

Informell: "Wir haben den Auftrag gekriegt!" Professionell: ```

Anwendungsfall Produktbeschreibungen:

``` Schreibe eine kurze, ansprechende Produktbeschreibung (max. 2 Sätze).

Produkt: Lederbrieftasche, braun, 3 Kartenfächer Beschreibung: "Zeitlose Eleganz trifft funktionales Design: Diese handgefertigte Lederbrieftasche aus echtem Vollnarbenleder bietet drei großzügige Kartenfächer für Ihren organisierten Alltag."

Produkt: Tasse, blau, mit Katzenaufdruck Beschreibung: "Diese charmante blaue Tasse mit handgemaltem Katzenaufdruck ist nicht nur ein praktischer Begleiter für Ihre Lieblingsgetränke, sondern auch ein süßes Statement für Tierliebhaber."

Produkt: Notebook A5, schwarz, 200 Seiten Beschreibung: ```

In der Praxis

Formatierungstipps

Klare Trennzeichen verwenden: ```

Beispiel 1 ###

Input: ... Output: ...

Beispiel 2 ###

```

Oder einfaches lineares Format: `` Input: ... → Output: ... Input: ... → Output: ... Input: [neue Anfrage] → Output: ``

Für längere Outputs: Zeilenumbrüche und konsistente Strukturierung helfen dem Modell, das Format zu übernehmen.

Häufige Fehler

• Inkonsistentes Format: Manchmal Output:, manchmal Antwort: – das verwirrt das Modell
• Zu komplexe Beispiele: Wenn Beispiele selbst komplex sind, fällt dem Modell Muster-Erkennung schwerer
• Beispiele aus anderen Domänen: Produktbeschreibungen als Beispiel für journalistische Texte → unpassend
• Negative Beispiele ohne Erklärung: „Das ist ein schlechtes Beispiel für..." → eher vermeiden

Kombination mit anderen Techniken

Few-Shot + CoT ist eine der mächtigsten Kombinationen: Beispiele demonstrieren sowohl das Format als auch den Denkprozess:

``` Problem: [Problem 1] Denken: Zuerst... dann... also... Antwort: [Antwort 1]

Problem: [Problem 2] Denken: ... Antwort: [Antwort 2]

Problem: [Neues Problem] Denken: ```

Vergleich & Abgrenzung

Few-Shot vs. Zero-Shot: Zero-Shot ist einfacher zu schreiben; Few-Shot ist mächtiger für ungewöhnliche oder format-sensitive Aufgaben. Faustregel: Zero-Shot zuerst versuchen – wenn das Ergebnis nicht passt, Few-Shot ergänzen.

Few-Shot Prompting vs. Fine-Tuning: Fine-Tuning passt die Modellgewichte permanent an. Few-Shot ist temporär (nur für diesen Prompt-Kontext). Fine-Tuning ist teurer aber konsistenter; Few-Shot ist flexibel und sofort einsetzbar.

Few-Shot vs. [Rollen-Prompting (Roleplay Prompting)](/wiki/genai-content-creation/prompt-engineering/rollenprompting/): Rollen-Prompting definiert eine Persona (wer das Modell sein soll). Few-Shot zeigt durch Beispiele, wie es sich verhalten soll. Oft werden beide kombiniert.

Häufige Fragen (FAQ)

Wie viele Beispiele sind optimal? Für die meisten Aufgaben liefern 3–5 Beispiele gute Ergebnisse. Bei stark formatierten Outputs (z. B. JSON-Schemata) können 1–2 reichen. Mehr als 10 Beispiele selten nötig und oft kontraproduktiv (Kontextfenster-Effizienz).

Müssen die Beispiele inhaltlich korrekt sein? Interessanterweise zeigen Studien (Min et al., 2022), dass das Format wichtiger ist als die inhaltliche Korrektheit. Selbst fehlerhafte Beispiele mit konsequentem Format liefern oft gute Ergebnisse. Trotzdem: Korrekte Beispiele sind zu bevorzugen.

Welche Reihenfolge der Beispiele ist optimal? Es gibt schwache Evidenz dafür, dass ähnlichere Beispiele dichter an der tatsächlichen Aufgabe platziert werden sollten. Für die meisten Praxis-Anwendungen ist die Reihenfolge weniger wichtig als die Qualität der Beispiele selbst.

Verwandte Einträge

• Prompt Engineering – Grundlagen
• Chain-of-Thought Prompting
• Rollen-Prompting (Roleplay Prompting)
• System Prompts
• Prompt Evaluation

Weiterführend

• Brown, Tom B. et al. (2020): Language Models are Few-Shot Learners. NeurIPS 2020. (GPT-3, grundlegendes Paper)
• Min, Sewon et al. (2022): Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? EMNLP 2022.
• Dong, Qingxiu et al. (2022): A Survey for In-context Learning. arXiv:2301.00234.
• Liu, Jiachang et al. (2022): What Makes Good In-Context Examples for GPT-3? Workshop on Knowledge Extraction and Integration, ACL 2022.
• DAIR.AI (2023): Few-Shot Prompting. promptingguide.ai/techniques/fewshot.