Yapay zekâda temperature, bir sonraki token'ı, kelimeyi veya pikseli seçmek için modelin kullandığı olasılık dağılımını yeniden şekillendirerek model çıktısının rastgeleliğini kontrol eden bir hiperparametredir. En sık büyük dil modelleri (LLM'ler) ve diğer üretken modeller bağlamında ele alınır; burada öngörülebilirlik ile yaratıcılık arasında bir ayar düğmesi işlevi görür. Değeri düşürdüğünüzde model her seferinde en olası seçeneği tercih eder; yükselttiğinizde ise daha az olası seçenekleri denemeye daha istekli hale gelir.
Temperature nasıl çalışır
Model, her token'ı üretmeden önce sözlüğündeki her olasılık için logit adı verilen bir ham puan hesaplar. Bu logit'ler softmax fonksiyonu aracılığıyla olasılıklara dönüştürülür ve temperature devreye girdiği yer burasıdır. Softmax uygulanmadan önce her logit, temperature değeri olan T'ye bölünür.
T = 1 olduğunda dağılım değişmez. T < 1 olduğunda olasılıklar birbirinden uzaklaşır: zaten olası olan token'lar daha da olası hale gelir, böylece örnekleme modelin "en iyi tahminine" yakın kalır. T > 1 olduğunda dağılım düzleşir ve düşük olasılıklı token'lar daha büyük bir pay alır; bu da çıktıları daha çeşitli kılar. Örneğin, model bir sonraki kelimenin "the" olduğuna %60, "a" olduğuna ise %20 güvenle inanıyorsa, 0.2 temperature değeri neredeyse her zaman "the" çıktısını verirken, 1.2 temperature değeri yaklaşık beş denemede bir "a" çıktısını verir.
Neden önemlidir
Temperature, modeli yeniden eğitmeden davranışını şekillendirmenin en basit ve en güçlü kollarından biridir. Düşük temperature değerleri, halüsinasyonların maliyetli olduğu kod üretimi, olgusal soru yanıtlama ve yapılandırılmış veri çıkarma gibi hassasiyet gerektiren görevler için tercih edilir. Daha yüksek temperature değerleri ise özgünlüğün ve çeşitliliğin kesinlikten daha önemli olduğu beyin fırtınası, hikâye anlatımı ve diyalog gibi görevler için kullanışlıdır.
Aynı zamanda prompt mühendisliğinin de temel bir parçasıdır. OpenAI, Anthropic ve Google'ın da aralarında bulunduğu çoğu LLM API'si, temperature'ı top-p (çekirdek örnekleme) ve top-k gibi ilgili kontrollerle birlikte ayarlanabilir bir parametre olarak sunar. Doğrudan kullanıcı deneyimini etkilediği için bir modeli demodan üretime taşırken geliştiricilerin ilk ayarladığı ayarlardan biridir.
Temel temperature aralıkları ve ne zaman kullanılacakları
- 0.0 — Açgözlü kod çözme (Greedy decoding). Model her zaman en yüksek olasılıklı token'ı seçer. Maksimum determinizm; tekrarlanabilir kod veya matematik için kullanışlıdır.
- 0.0–0.3 — Düşük ve odaklı. Çeviri, özetleme, sınıflandırma ve olgu temelli yanıtlama için iyidir.
- 0.4–0.7 — Dengeli. Genel amaçlı sohbet asistanları için yaygın bir varsayılan değerdir.
- 0.7–1.0 — Daha çeşitli. Yaratıcı yazarlık, pazarlama metinleri ve fikir üretimi için kullanışlıdır.
- 1.0+ — Yüksek düzeyde rastgele. Çıktılar tutarsız hale gelebilir; araştırma veya deneysel sanat dışında nadiren kullanılır.
Temperature en iyi bir karar değil, bir ayar düğmesi olarak anlaşılır. Top-p veya top-k örneklemesiyle birlikte kullanın ve belirli göreve, modele ve hedef kitleye göre ayarlayın; çünkü aynı değer farklı uygulamalarda çok farklı hissedilebilir.