Few-Shot Learning ist ein Paradigma des maschinellen Lernens, bei dem erwartet wird, dass ein Modell nach dem Ansehen nur einer kleinen Anzahl gekennzeichneter Beispiele auf eine neue Aufgabe oder Klasse generalisiert – oft so wenige wie eins (One-Shot) oder keines (Zero-Shot). Es steht im Gegensatz zum traditionellen überwachten Lernen, das in der Regel große gekennzeichnete Datensätze benötigt, um eine starke Leistung zu erzielen. Besonders bekannt wurde der Ansatz durch große Sprachmodelle, die Anweisungen und Beispiele interpretieren können, die direkt in ihrem Eingabe-Prompt bereitgestellt werden.
So funktioniert Few-Shot Learning
Die meisten modernen Few-Shot-Learning-Systeme beginnen mit einem großen vortrainierten Modell, das bereits umfassendes Wissen aus riesigen Datensätzen aufgenommen hat. Um eine neue Aufgabe auszuführen, erhält das Modell einen kleinen Satz von Demonstrationen in seiner Eingabe – eine Technik, die als In-Context Learning bekannt ist. Um einem Modell beispielsweise beizubringen, Kundenfeedback als positiv, negativ oder neutral zu klassifizieren, könnte ein Entwickler drei gekennzeichnete Beispiele in den Prompt aufnehmen: „Toller Service!" → positiv, „Langsame Reaktion." → negativ und „War in Ordnung." → neutral. Das Modell wendet dasselbe Muster dann auf neue, ungekennzeichnete Eingaben an, ohne dass Gewichte aktualisiert werden.
Über das Prompting hinaus kann Few-Shot Learning auch durch Feinabstimmung eines vortrainierten Modells auf einem kleinen gekennzeichneten Datensatz oder durch Meta-Learning-Ansätze implementiert werden, die ein Modell explizit darauf trainieren, neue Aufgaben schnell zu erlernen. In allen Fällen ist das Ziel dasselbe: Vorwissen nutzen, damit wenige Beispiele ausreichen, um ein neues Verhalten festzulegen.
Warum es wichtig ist
Few-Shot Learning senkt die Kosten und den Zeitaufwand, die erforderlich sind, um KI an spezialisierte Aufgaben anzupassen, erheblich. In Bereichen, in denen gekennzeichnete Daten knapp, teuer oder sensibel sind – etwa medizinische Diagnosen, juristische Prüfungen oder Übersetzungen seltener Sprachen – ist das Sammeln von Tausenden von Beispielen oft unpraktisch. Few-Shot-Methoden machen es möglich, nützliche Anwendungen auf Basis weniger, sorgfältig ausgewählter Beispiele zu erstellen. Sie ermöglichen auch schnellere Iteration, da Teams Prototypen erstellen und Prompts oder Feinabstimmungen verfeinern können, ohne auf große Annotationsprojekte zu warten.
Wichtige Arten
- One-Shot Learning: Dem Modell wird ein einziges Beispiel pro Klasse zum Lernen gegeben.
- Few-Shot Learning (k-Shot): Dem Modell wird eine kleine Anzahl von Beispielen pro Klasse gegeben, typischerweise 2 bis 10.
- Zero-Shot Learning: Das Modell führt die Aufgabe ohne jegliche Beispiele aus und stützt sich nur auf Anweisungen oder Beschreibungen.
- Prompt-basiertes Few-Shot Learning: Beispiele werden direkt im Eingabe-Prompt bereitgestellt, wie es durch GPT-3 und seine Nachfolger populär wurde.
- Meta-Learning: Das Modell wird explizit über viele verwandte Aufgaben hinweg trainiert, damit es sich mit minimalen Daten an neue anpassen kann – eine Familie, zu der Methoden wie MAML und prototypische Netzwerke gehören.
Few-Shot Learning ist eine der definierenden Fähigkeiten moderner Foundation Models und steht im Zentrum von Techniken wie Prompt Engineering, Retrieval-Augmented Generation und leichtgewichtiger Feinabstimmung wie LoRA. Da Basismodelle weiter verbessert werden, sinkt tendenziell die Anzahl der Beispiele, die für eine zuverlässige Aufgabenleistung erforderlich sind – wodurch KI-Anpassung auch für Teams ohne dedizierte Datenkennzeichnungs-Pipelines zugänglich wird.