Çok modlu yapay zekâ, metin, görsel, ses ve video gibi farklı veri türlerini birlikte anlayabilen ya da üretebilen yapay zekâ sistemleridir.
Çok Modlu Yapay Zekâ ne demek?
Eski modeller tek bir veri türüyle çalışırdı: biri metin anlardı, diğeri görüntü. Çok modlu modeller ise bir fotoğrafı görüp onun hakkında soru cevaplayabilir, bir grafiği okuyup yorumlayabilir ya da sesli sohbet edebilir.
GPT-4o, Gemini ve Claude gibi güncel modeller çok modludur. Bu sayede ekran görüntüsü, el yazısı not ya da PDF yükleyerek soru sormak mümkün olur.
Prompt yazarken
Görsel yüklediğinde modele neye bakması gerektiğini söyle: "Bu ekran görüntüsündeki hata mesajını açıkla ve çözüm öner" gibi net bir görev, "bu ne?" sorusundan çok daha iyi sonuç verir.
Prompt Sihirbazı ile deneYakın kavramlar
Bilgisayarlı GörüCV · Computer VisionBilgisayarlı görü, bilgisayarların fotoğraf ve videolardaki nesneleri, yüzleri, yazıları ve sahneleri tanıyıp anlamlandırmasını sağlayan yapay zekâ alanıdır.Temel KavramlarKonuşma TanımaASR · Speech RecognitionKonuşma tanıma, insan sesini algılayıp yazıya döken yapay zekâ teknolojisidir; konuşmadan metne (speech-to-text) olarak da bilinir.Temel KavramlarBüyük Dil ModeliLLM · Large Language ModelBüyük dil modeli (LLM), çok büyük miktarda metinle eğitilerek dili anlamayı ve üretmeyi öğrenmiş, milyarlarca parametreli yapay zekâ modelidir.Dil Modelleri & Üretken YZCLIPContrastive Language-Image Pre-trainingCLIP, görselleri ve metinleri aynı anlam uzayında temsil ederek bir görselin bir metne ne kadar uyduğunu ölçebilen modeldir.Görsel, Video & Ses ÜretimiBilgisayar KullanımıComputer UseBilgisayar kullanımı, bir yapay zekâ ajanının ekran görüntülerine bakarak fareyi ve klavyeyi kullanıp bilgisayardaki uygulamaları bir insan gibi kullanabilmesidir.Ajanlar, RAG & Araç KullanımıOptik Karakter TanımaOCR · Optical Character RecognitionOptik karakter tanıma (OCR), fotoğraf, taranmış belge ya da ekran görüntüsündeki yazıları düzenlenebilir metne çeviren teknolojidir.Görsel, Video & Ses Üretimi