Few-shot learning은 모델이 소수의 레이블된 예시만 보고 새로운 작업이나 클래스를 일반화하도록 기대하는 머신러닝 패러다임으로, 흔히 한 개(원샷) 또는 아예 없는 경우(제로샷)도 포함합니다. 이는 일반적으로 강력한 성능을 달성하기 위해 대규모 레이블 데이터셋이 필요한 전통적인 지도 학습과 대조됩니다. 이 접근 방식은 대규모 언어 모델이 입력 프롬프트에서 직접 제공되는 지시와 예시를 해석할 수 있게 되면서 특히 두드러지게 활용되었습니다.
Few-shot learning의 작동 원리
대부분의 최신 few-shot learning 시스템은 이미 방대한 데이터셋으로부터 폭넓은 지식을 흡수한 대규모 사전 학습 모델에서 시작됩니다. 새로운 작업을 수행하기 위해 모델은 입력 안에 소수의 시연 데이터를 함께 제공받는데, 이를 인컨텍스트 학습(in-context learning)이라 합니다. 예를 들어 고객 피드백을 긍정, 부정, 중립으로 분류하도록 모델을 가르치려면, 개발자가 프롬프트에 레이블이 지정된 세 가지 예시를 포함할 수 있습니다. "훌륭한 서비스였습니다!" → 긍정, "응답이 느렸어요." → 부정, "그냥 그랬어요." → 중립처럼요. 그러면 모델은 가중치를 업데이트하지 않고도 새로운 레이블 없는 입력에 동일한 패턴을 적용합니다.
프롬프팅 외에도, few-shot learning은 소규모 레이블 데이터셋으로 사전 학습된 모델을 파인튜닝하거나, 새로운 작업을 빠르게 학습하도록 모델을 명시적으로 훈련하는 메타러닝 접근 방식을 통해서도 구현될 수 있습니다. 모든 경우에 목표는 동일합니다. 즉, 사전 지식을 활용해 소수의 예시만으로 새로운 동작을 지정할 수 있게 하는 것입니다.
중요성
Few-shot learning은 AI를 특화된 작업에 적용하는 데 드는 비용과 시간을 획기적으로 줄여줍니다. 의료 진단, 법률 검토, 저자원 언어 번역처럼 레이블 데이터가 부족하거나 비용이 많이 들며 민감한 도메인에서는 수천 개의 예시를 수집하는 것이 종종 비현실적입니다. Few-shot 기법은 작고 신중하게 선별된 예시만으로도 유용한 애플리케이션을 구축할 수 있게 해줍니다. 또한 대규모 주석 프로젝트를 기다릴 필요 없이 프롬프트나 파인튜닝을 프로토타이핑하고 개선할 수 있어 더 빠른 반복 작업을 가능하게 합니다.
주요 유형
- 원샷 학습(One-shot learning): 클래스당 단 하나의 예시만으로 학습합니다.
- Few-shot 학습(k-shot): 일반적으로 클래스당 2개에서 10개 정도의 소수 예시를 제공합니다.
- 제로샷 학습(Zero-shot learning): 예시 없이 지시나 설명만으로 작업을 수행합니다.
- 프롬프트 기반 few-shot 학습: GPT-3와 그 후속 모델을 통해 대중화된 방식으로, 입력 프롬프트에 직접 예시를 제공합니다.
- 메타러닝(Meta-learning): MAML이나 프로토타입 네트워크 같은 방법을 포함하는 계열로, 관련된 여러 작업에 걸쳐 모델을 명시적으로 훈련해 최소한의 데이터로 새로운 작업에 적응할 수 있도록 합니다.
Few-shot learning은 현대 파운데이션 모델의 대표적인 능력 중 하나이며, 프롬프트 엔지니어링, 검색 증강 생성(RAG), LoRA 같은 경량 파인튜닝 같은 기법의 핵심에 자리합니다. 기반 모델이 계속해서 개선됨에 따라 안정적인 작업 수행에 필요한 예시 수가 줄어드는 추세이며, 이는 전용 데이터 레이블링 파이프라인이 없는 팀에서도 AI 커스터마이징에 접근할 수 있게 만들어 줍니다.