İnce ayar, geniş bir veri kümesi üzerinde — çoğunlukla GPT veya LLaMA ailesinden büyük bir dil modeli gibi — önceden eğitilmiş bir modeli alıp onu daha küçük, dikkatle seçilmiş bir veri kümesi üzerinde eğitmeye devam etme pratiğidir. Amaç, modeli daha dar bir davranışa yönlendirmektir: tıbbi soruları yanıtlama, belirli bir marka sesinde yazma, belirli bir çerçevede kod üretme ya da yapılandırılmış bir çıktı biçimini güvenilir şekilde takip etme.
Sıfırdan eğitimin aksine, ince ayar rastgele ağırlıklar yerine öğrenilmiş temsillerden başlar. Gramer, muhakeme ve dünya bilgisinin öğrenilmesinin en ağır kısmı çoktan tamamlandığından, ince ayar genellikle hedef görevde anlamlı iyileştirmeler sağlamak için çok daha az veri ve işlem gücüne ihtiyaç duyar.
İnce ayar nasıl çalışır
Pratikte mühendisler, modelin sergilemesini istedikleri davranışı temsil eden örnek girdiler ve istenen çıktılardan oluşan bir veri kümesi hazırlar. Bir müşteri destek asistanı için bu, yüzlerce ya da binlerce geçmiş destek talebi çözümü olabilir; bir kod inceleme aracı içinse çekme istekleri ve inceleme yorumlarından oluşan çiftler olabilir. Önceden eğitilmiş model, bu veri kümesi üzerinde ek eğitim geçişleri yapar ve tahmin edilen çıktılarla hedef çıktılar arasındaki kayıp azalacak şekilde ağırlıkları standart gradyan tabanlı eniyileme ile güncellenir.
Basit bir zihinsel model: genel amaçlı bir temel modeli, her ders kitabını okumuş bir tıp stajyeri olarak düşünün. İnce ayar, onu radyoloji alanında uzmanlaştıran ihtisas eğitimidir. Temel bilgisi yerinde kalır, ancak günlük kararları keskin biçimde tek bir alana odaklanır.
Neden önemlidir
İnce ayar, ekiplerin genel amaçlı bir modeli güvenilir bir ürün bileşenine dönüştürmek için kullandığı birincil kumanda koludur. Niş görevlerde doğruluğu artırabilir, kurumun üslubunu dayatabilir, tanımlı bir kapsamda halüsinasyonları azaltabilir, araç kullanım kalıplarını öğretebilir ve çıktıları güvenlik veya uyumluluk gereksinimleriyle hizalayabilir. Özel verilere ya da alan uzmanlığına sahip kuruluşlar için ince ayar, bu bilgiyi yalnızca istemlere güvenmek yerine doğrudan modelin içine kodlamanın bir yolunu sunar.
Aynı zamanda ekonomik bir değeri de vardır: daha küçük ve ince ayar yapılmış açık kaynaklı bir model, belirli bir iş akışında çok daha büyük genel amaçlı bir modelin kalitesini sıklıkla yakalayabilir ve ölçekte çıkarım maliyetlerini düşürür.
Temel türler
- Denetimli ince ayar (SFT): belirli bir beceriyi veya biçimi öğretmek için etiketli girdi-çıktı çiftleri üzerinde eğitim.
- Yönergeye göre ince ayar: modeli birçok görevde doğal dil yönergelerini takip edecek şekilde eğiten SFT'nin geniş bir biçimi.
- Parametre verimli ince ayar (örn. LoRA, QLoRA): ağırlıkların çoğunu dondurur ve yalnızca küçük bağdaştırıcı katmanlarını eğiterek işlem ve depolama maliyetlerini düşürür.
- İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF): modeli denetimli örneklerin ötesinde daha da hizalamak için insan tercih sıralamalarını kullanır.
- Devam eden ön eğitim: göreve özgü SFT'den önce kelime dağarcığı ve bilgiyi aşılamak için ham alan metni üzerinde denetimsiz ince ayar.
İnce ayar, istem ve getirme yöntemlerinin tek başına kalite çıtasını güvenilir biçimde karşılayamadığı, gecikme ya da maliyetin çok büyük modelleri devre dışı bıraktığı ya da istenen davranışın temel modelin seyrek gördüğü kalıplara bağlı olduğu durumlarda en yararlıdır. Erişilebilir bir genel bakış için Hugging Face'in eğitim belgelerine, yönerge takip eden modellerin arkasındaki orijinal tarife ise FLAN makalesine bakabilirsiniz.
