How is few-shot learning different from transfer learning?

Transfer learning is the broader practice of reusing knowledge from one task to help with another, usually by fine-tuning a pre-trained model. Few-shot learning is a specific goal within that umbrella: succeeding at a new task when only a handful of examples are available. Many few-shot systems use transfer learning, but the defining feature is the small data size, not the transfer mechanism itself.

What is the difference between few-shot and zero-shot learning?

Zero-shot learning requires the model to perform a task with no examples at all, relying on instructions, task descriptions, or general world knowledge. Few-shot learning provides a small number of demonstrations, typically 1 to 10, so the model can infer the desired pattern. Zero-shot is more demanding of the base model's reasoning ability, while few-shot tends to be more reliable for narrow or unusual tasks.

How many examples do you need for few-shot learning?

There is no fixed number, but few-shot learning generally uses between 1 and about 10 labeled examples per class, often provided directly in the prompt. More examples usually improve performance up to a point, after which the model's context window or diminishing returns set in. The exact sweet spot depends on the task, the base model, and the quality of the examples.

Is few-shot learning the same as prompt engineering?

Not exactly. Prompt engineering is the practice of crafting inputs to get the best results from a model, and it often includes adding few-shot examples as part of the prompt. Few-shot learning is the broader capability of learning from a few examples, which can be exercised through prompt engineering, fine-tuning, or meta-learning. They overlap heavily in practice but are distinct concepts.

Was ist Few-Shot Learning? Definition & Beispiele

Few-Shot Learning ist ein Paradigma des maschinellen Lernens, bei dem erwartet wird, dass ein Modell nach dem Ansehen nur einer kleinen Anzahl gekennzeichneter Beispiele auf eine neue Aufgabe oder Klasse generalisiert – oft so wenige wie eins (One-Shot) oder keines (Zero-Shot). Es steht im Gegensatz zum traditionellen überwachten Lernen, das in der Regel große gekennzeichnete Datensätze benötigt, um eine starke Leistung zu erzielen. Besonders bekannt wurde der Ansatz durch große Sprachmodelle, die Anweisungen und Beispiele interpretieren können, die direkt in ihrem Eingabe-Prompt bereitgestellt werden.

So funktioniert Few-Shot Learning

Die meisten modernen Few-Shot-Learning-Systeme beginnen mit einem großen vortrainierten Modell, das bereits umfassendes Wissen aus riesigen Datensätzen aufgenommen hat. Um eine neue Aufgabe auszuführen, erhält das Modell einen kleinen Satz von Demonstrationen in seiner Eingabe – eine Technik, die als In-Context Learning bekannt ist. Um einem Modell beispielsweise beizubringen, Kundenfeedback als positiv, negativ oder neutral zu klassifizieren, könnte ein Entwickler drei gekennzeichnete Beispiele in den Prompt aufnehmen: „Toller Service!" → positiv, „Langsame Reaktion." → negativ und „War in Ordnung." → neutral. Das Modell wendet dasselbe Muster dann auf neue, ungekennzeichnete Eingaben an, ohne dass Gewichte aktualisiert werden.

Über das Prompting hinaus kann Few-Shot Learning auch durch Feinabstimmung eines vortrainierten Modells auf einem kleinen gekennzeichneten Datensatz oder durch Meta-Learning-Ansätze implementiert werden, die ein Modell explizit darauf trainieren, neue Aufgaben schnell zu erlernen. In allen Fällen ist das Ziel dasselbe: Vorwissen nutzen, damit wenige Beispiele ausreichen, um ein neues Verhalten festzulegen.

Warum es wichtig ist

Few-Shot Learning senkt die Kosten und den Zeitaufwand, die erforderlich sind, um KI an spezialisierte Aufgaben anzupassen, erheblich. In Bereichen, in denen gekennzeichnete Daten knapp, teuer oder sensibel sind – etwa medizinische Diagnosen, juristische Prüfungen oder Übersetzungen seltener Sprachen – ist das Sammeln von Tausenden von Beispielen oft unpraktisch. Few-Shot-Methoden machen es möglich, nützliche Anwendungen auf Basis weniger, sorgfältig ausgewählter Beispiele zu erstellen. Sie ermöglichen auch schnellere Iteration, da Teams Prototypen erstellen und Prompts oder Feinabstimmungen verfeinern können, ohne auf große Annotationsprojekte zu warten.

Wichtige Arten

One-Shot Learning: Dem Modell wird ein einziges Beispiel pro Klasse zum Lernen gegeben.
Few-Shot Learning (k-Shot): Dem Modell wird eine kleine Anzahl von Beispielen pro Klasse gegeben, typischerweise 2 bis 10.
Zero-Shot Learning: Das Modell führt die Aufgabe ohne jegliche Beispiele aus und stützt sich nur auf Anweisungen oder Beschreibungen.
Prompt-basiertes Few-Shot Learning: Beispiele werden direkt im Eingabe-Prompt bereitgestellt, wie es durch GPT-3 und seine Nachfolger populär wurde.
Meta-Learning: Das Modell wird explizit über viele verwandte Aufgaben hinweg trainiert, damit es sich mit minimalen Daten an neue anpassen kann – eine Familie, zu der Methoden wie MAML und prototypische Netzwerke gehören.

Few-Shot Learning ist eine der definierenden Fähigkeiten moderner Foundation Models und steht im Zentrum von Techniken wie Prompt Engineering, Retrieval-Augmented Generation und leichtgewichtiger Feinabstimmung wie LoRA. Da Basismodelle weiter verbessert werden, sinkt tendenziell die Anzahl der Beispiele, die für eine zuverlässige Aufgabenleistung erforderlich sind – wodurch KI-Anpassung auch für Teams ohne dedizierte Datenkennzeichnungs-Pipelines zugänglich wird.

Was ist Few-Shot Learning?

So funktioniert Few-Shot Learning

Warum es wichtig ist

Wichtige Arten

Häufig gestellte Fragen