Çok modlu yapay zeka, metin, görüntü, ses ve video gibi birden fazla veri türünü tek bir model içinde işleyebilen ve bunlar üzerinde akıl yürütebilen yapay zekadır. Tek bir girdi biçimiyle sınırlı kalmak yerine, çok modlu bir sistem bu biçimlerin herhangi bir birleşimini kabul edebilir ve farklı akışların birbirleriyle nasıl ilişkili olduğunu anlayarak daha zengin çıktılar üretebilir. Bu da modelin dar bir araç gibi davranmak yerine, insanların dünyayı aynı anda birçok duyuyu kullanarak yorumladığı gibi hareket etmesini sağlar.
Çok modlu yapay zeka nasıl çalışır
Çok modlu bir sistemin temelinde, farklı veri türlerinin vektörler olarak, yani modelin karşılaştırabileceği ve birleştirebileceği sayısal parmak izleri olarak kodlandığı ortak bir gösterim alanı yer alır. Metin, pikseller veya ses dalgaları gibi her bir modalite, önce görüntüler için bir vision transformer veya metin için bir tokenizer gibi özel kodlayıcılar kullanılarak bu ortak alana dönüştürülür. Genellikle transformer tabanlı bir mimari olan bir birleştirme modülü, kodlanmış tüm girdilere aynı anda dikkat ederek modelin bunlar üzerinde birlikte akıl yürütmesini sağlar.
Örneğin, bir mutfak fotoğrafı ve "Bu tarif için hangi malzemeyi unuttum?" sorusu verildiğinde, çok modlu bir model görüntüdeki nesneleri tanıyabilir, bunları metin olarak depolanan mutfak bilgisiyle ilişkilendirebilir ve doğal dilde faydalı bir yanıt döndürebilir. Eğitim genellikle büyük ölçekli eşleştirilmiş veriler kullanır; örneğin açıklamalı görüntüler, transkripsiyonlu videolar veya eşleşen metin içeren konuşmalar, böylece model modaliteler arasındaki hizalamayı öğrenir. Son dönem sistemler, görüntü veya ses token'larını kelimelere benzer şekilde ele alan birleşik tokenizer'lar da kullanarak tek bir transformer'ın her şeyi uçtan uca işlemesine olanak tanır.
Neden önemlidir
Gerçek dünyadaki bilgilerin çoğu çok modludur. Bir doktorun notları bir taramayı açıklar, bir eğitim anlatımıyla ekran görüntüsünü bir arada sunar ve bir müşteri soruyla birlikte bir ekran görüntüsü gönderir. Tek modlu modeller aynı anda yalnızca bir dilimi işleyebilir; bu da geliştiricileri ayrı sistemleri birbirine bağlamak zorunda bırakır. Çok modlu yapay zeka bu hattı tek bir modele indirgeyerek hata yayılımını azaltır ve etkileşimlerin daha doğal hissettirmesini sağlar.
Bu yaklaşım aynı zamanda yalnızca metin ya da yalnızca görüntü tabanlı sistemlerin ulaşamadığı yeteneklerin önünü açar; örneğin bir görüntüyü tarif etme, bir paragraftan görüntü üretme, bir grafik hakkında soruları yanıtlama veya sözlü bir konuşmayı transkripsiyon edip çevirme gibi. Sonuç olarak çok modlu yapay zeka artık birçok tüketici asistanında, yaratıcı araçta, robotik platformda ve erişilebilirlik ürününde varsayılan mimari haline gelmiştir ve frontier model araştırmalarındaki öncü yönelimi oluşturur.
Temel türler
- Görüntü-dil modelleri: görüntüleri ve metni birlikte kabul ederek altyazılama, görsel soru yanıtlama ve istemlerden görüntü üretme gibi görevler için kullanılır.
- Konuşma ve ses modelleri: sözlü girdiyi metin veya görüntüyle birleştirerek sesli asistanlara ve transkripsiyon sistemlerine güç verir.
- Video anlama modelleri: zamansal görsel verileri, genellikle ses ve altyazılarla birlikte işleyerek özetleme ve eylem tanıma için kullanılır.
- Herhangi birinden herhangi birine modeller: metin, görüntü ve ses gibi çeşitli modalitelerde girdi alabilen ve çıktı üretebilen, tek bir arayüz içinde birleşik sistemler.
- Bedenselleştirilmiş ve sensör füzyonu modelleri: robotları ve otonom sistemleri yönlendirmek için görüntüyü, dili ve derinlik ya da dokunma gibi sinyalleri birleştirir.
Metni, görüntüyü, sesi ve videoyu tek bir modelde birinci sınıf girdiler olarak ele alan çok modlu yapay zeka, sistemleri insan algısına daha yakın bir noktaya taşır ve dünyayı daha bütünlüklü bir şekilde akıl yürütebilen uygulamalar geliştirmeyi mümkün kılar.