Chain-of-thought (düşünce zinciri) istemcilliği, kullanıcının büyük bir dil modelinden bir problemi adım adım çözmesini, son cevaba götüren ara akıl yürütmeyi açığa çıkarmasını söylediği bir istem mühendisliği tekniğidir. Model, doğrudan bir sonuca atlamak yerine tıpkı bir öğrencinin matematik sınavında çözümünü göstermesi gibi mantıksal adımları doğal dilde yazar. Bu teknik, Wei ve diğerleri (2022) tarafından Chain-of-Thought Prompting Elicits Reasoning in Large Language Models çalışmasıyla yaygınlaştırılmış ve modern istem tasarımının temel taşlarından biri hâline gelmiştir.
Chain-of-Thought İstemcilliği nasıl çalışır
Temel fikir göründüğü kadar basittir. İstem, modelin bir akıl yürütme zincirini gösterdiği bir ya da daha fazla örnek içerdiğinde — "önce X'i yaparım, sonra Y'yi hesaplarım, dolayısıyla Z" — model yeni problemde de bu yapıyı taklit etme eğilimi gösterir. Bu yaklaşıma few-shot (az-örnekli) düşünce zinciri istemcilliği denir ve modelin ağırlıklarında hiçbir değişiklik gerektirmez; yalnızca istem değişir.
Kojima ve diğerleri (2022) tarafından tanıtılan ve zero-shot (sıfır-örnekli) düşünce zinciri adı verilen daha yeni bir varyant, herhangi bir soruya Let's think step by step (Adım adım düşünelim) gibi tek bir sihirli ifadeyi ekleyerek çalışır ve bu bile modeli problemi parçalara ayırmaya teşvik etmek için yeterlidir. Her iki varyant da aynı temel yeteneğe dayanır: yeterince büyük dil modelleri aritmetik ve mantık için içsel prosedürler öğrenmiştir ve bu prosedürleri metin olarak yüzeye çıkarmak cevap doğruluğunu ölçülebilir biçimde artırır.
Neden önemlidir
Chain-of-thought istemcilliği, LLM'lerin en görünür başarısızlık modlarından birini doğrudan hedef aldığı için önemlidir: çok adımlı problemlerde kendinden emin bir şekilde verilen tek seferlik yanlış cevaplar. Modeli akıl yürütmesini dışsallaştırmaya zorlayarak bu teknik aritmetik hataları azaltır, sağduyu kıyaslamalarındaki performansı artırır ve bir insanın her adımı inceleyebilmesi sayesinde model davranışının denetlenmesini kolaylaştırır. Günümüzde self-consistency (birçok zincir örnekleyip cevap üzerinde oylama), tree-of-thought (düşünce ağacı) araması ve modern akıl yürütme modellerinin ürettiği reasoning trace'ler gibi daha ileri yöntemler için bir yapı taşıdır.
Temel varyantlar
- Few-shot CoT: İstem, gerçek sorudan önce adım adım akıl yürütmeyi gösteren birkaç elle yazılmış örnek içerir. Genellikle daha küçük modeller için en güvenilir yaklaşımdır.
- Zero-shot CoT: Herhangi bir isteme yalnızca "Let's think step by step" (Adım adım düşünelim) ya da benzeri bir tetikleyici ekleyin. Ucuzdur ve yetenekli modellerde şaşırtıcı derecede etkilidir.
- Self-consistency: Birçok bağımsız düşünce zincirinden örnekleyip en yaygın son cevabı seçerek işlem gücünü doğruluk için takas eder.
- Tree-of-Thought (Düşünce Ağacı): Modelin dallanıp birden çok akıl yürütme yolunu keşfetmesine, ardından zayıf olanları geri izlemesine ya da budamasına izin verir; bulmacalar ve planlama görevleri için kullanışlıdır.
- Reasoning-model trace'leri: o-serisi ve DeepSeek-R1 gibi daha yeni modeller, varsayılan olarak uzun düşünce zinciri akıl yürütmesini doğal olarak üretecek şekilde açıkça eğitilmiştir.
Chain-of-thought istemcilliği, "çözümünü göster" ifadesini sınıf kurallarından büyük dil modellerinden daha güvenilir cevaplar almak için güçlü, genel amaçlı bir araca dönüştürmüştür.