Bu yazıda
Bir promptun yeni sürümünü yazıp üç çıktıya göz gezdirir, “bu daha iyi” deyip kütüphaneye eklersiniz. İki hafta sonra aynı promptu neden seçtiğinizi, hatta gerçekten daha iyi olup olmadığını söylemek zorlaşır. Bu rehberde tek bir elektronik tabloyla, kod yazmadan, aynı promptun sürümlerini sabit ölçütlerle puanlayan bir prompt değerlendirme tablosu kuracaksınız.
Tablo bu üç sorunu birlikte çözer. Ölçütler, puan tanımları ve test girdileri sabit kaldığı için prompt sürümleri yan yana karşılaştırılabilir hale gelir. Ekipte iki kişi farklı sonuca vardığında tartışma “bence” düzeyinden çıkıp hangi ölçütte ve hangi vakada ayrıştığınıza iner. Model değiştirdiğinizde ya da sistem promptunu güncellediğinizde de aynı testi yeniden çalıştırıp farkı sayıyla görürsünüz.
Promptun nasıl yazılacağı başka bir konu; temel için Prompt Mühendisliği Nedir? yazısına bakabilirsiniz. Burada odak, yazdığınız promptun nasıl ölçüleceği. Rehberin sonunda elinizde şunlar olacak:
Ardından “iyi çıktı”yı ölçülebilir hale getirin. “Profesyonel görünsün” yerine “müşteriye ismiyle hitap eder, iade süresini doğru verir, olmayan bir kampanya vaat etmez” yazın. Her ifade bir okuyucunun evet ya da hayır diyebileceği kadar somut olmalı.
İkinci iş, elenme listesini çıkarmaktır. Bunlar puanı ne olursa olsun çıktıyı geçersiz kılan hatalardır: uydurma bilgi, yanlış ton, zorunlu bir alanın eksik olması, gizli bilginin sızması gibi. Elenme listesini puan ölçütlerinden ayırmanın nedeni şu: ağırlıklı toplamda ortalamaya karışan bir uydurma bilgi, yüksek puanlı başka ölçütlerin arkasında kaybolabilir.
Aday ölçütleri sıfırdan düşünmek yerine bir modelden taslak isteyebilirsiniz. Aşağıdaki istemi göreve göre doldurun; çıktıyı bir başlangıç olarak görün ve kendi işinize göre ayıklayın.Modelin önerdiği ölçütlerden size uymayanları silin, eksik gördüğünüzü ekleyin. Elenme listesi için de aynısını yapın; burada kendi sektörünüzün bildiğiniz tuzakları belirleyicidir.
Ağırlıklar işe göre değişir. Müşteri e-postasında ton ağır basar; yanlış tonlu doğru bir e-posta müşteriyi yine de kaybettirebilir. Rapor özetinde ise doğruluk öndedir; akıcı ama hatalı bir özet, kötü yazılmış doğru bir özetten daha zararlıdır. Ağırlıkların toplamını 100 yapmak hesabı kolaylaştırır:Ağırlıkları ilk turda tahminle verin, sonra ilk sonuçlara bakıp gerekirse ayarlayın. Ayarı sonuç lehine yapmak cazip gelir; bu yüzden ağırlıkları bir kez belirleyip test setiyle ilk ölçümü yaptıktan sonra dondurun.
Burada “iyi”, “orta”, “yeterli” gibi sözcüklerden kaçının. Bir puanın tanımı, iki kişinin aynı çıktıya bakınca aynı sonuca varabileceği gözlenebilir bir davranış olmalı. Örnek bir satır:Tanımları yazdıktan sonra ölçeği iki kişiyle sınayın. Aynı beş çıktıyı iki kişi ayrı ayrı puanlasın, ardından puanlar yan yana konup farklar konuşulsun. Bir ölçütte fark sürekli 2 puan ise sorun puanlayanlarda değil tanımdadır; o ölçütün 3 puanlık ara tanımına bir örnek eklemek çoğu zaman yeter.
Her girdi için beklenen çıktının özelliklerini kısaca not edin. Tam doğru cevabı yazmanız şart değil; “iade süresi 14 gün olarak geçer, özür bir cümleyi aşmaz” gibi kontrol edilebilir birkaç madde yeter. Bu notlar hem sizin hem de hakem modelin puanlama yaparken baktığı referans olur.Test setini sabit tutun. Prompt her değiştiğinde aynı girdilerle yeniden ölçün; girdileri değiştirirseniz sürümler arasındaki fark promptan mı vakadan mı geldiğini ayırt edemezsiniz. Yeni bir hata türü fark ederseniz onu yeni bir vaka olarak ekleyin, ama ekleme sonrası tüm sürümleri yeni vakada da çalıştırın.Ağırlıklı toplam sütununa puanlar ile ağırlıkların çarpımının toplamını 5'e bölen bir formül yazın. Ağırlıklar toplamı 100 ve ölçek 1-5 olduğunda sonuç 100 üzerinden çıkar; çoğu tabloda bunun işlevi TOPLA.ÇARPIM (SUMPRODUCT) adını taşır, dil ayarınıza göre ad değişebilir. Elenme sütunu “Evet” olan satırı, toplam puanı ne olursa olsun geçersiz sayın.

Puanlama sırası da önemli. Her çıktıda önce elenme listesine bakın; bir madde tetikleniyorsa notu yazıp o satırı kapatın, ölçütlere geçmeyin. Elenmeyen çıktılarda ölçütleri tanımlara bakarak puanlayın. Mümkünse sürüm sütununu gizleyip satırları karıştırın: hangisinin yeni sürüm olduğunu bilmek, farkında olmadan ona yüksek puan vermenize yol açar.
Sonuçları okurken her sürüm için ortalama ile en düşük puanı birlikte bakın. Örnek tabloda v1'in ortalaması yaklaşık 75, v2'nin yaklaşık 88'dir; ama asıl bilgi v1'deki V03 satırının elenmiş olmasıdır. Ortalama yüksek olsa bile tek bir ciddi hata gerçek kullanımda sorun yaratabilir; ortalamayı yalnızca elenmeyen satırlarda ve en düşük puanla birlikte okumak bu yüzden daha güvenlidir.Hakemi hemen güvenmeden önce sınayın. 10-15 çıktıyı hem kendiniz hem hakemle puanlayın ve ölçüt bazında karşılaştırın. Puanlar çoğunlukla aynı ya da 1 puan farklıysa o ölçütte hakeme makul ölçüde güvenebilirsiniz; sürekli 2 puan ve üzeri ayrışan ölçüt, tanımın muğlak olduğunun işaretidir. Tanımı düzeltin, örnek ekleyin ve karşılaştırmayı yineleyin. Ölçüt tanımı, hakem promptunun içine yapıştırılan metinle aynı olduğu için tek bir düzeltme hem sizin hem hakemin puanlamasını netleştirir.
Hakemin sınırlarını da bilin. Modeller uzun, süslü ve iddialı çıktıları kayırma eğilimi gösterebilir; “kısalık” ölçütü olan bir işte bu, puanları çarpıtır. Sürüm bilgisini hakemden gizleyin, çıktı sırasını değiştirin ve talimatta uzunluğa bakmamasını yazın. Müşteriye giden içerik, hukuki ya da finansal metin gibi kritik kararlarda ise hakem yalnızca ön eleme yapsın; son kararı insan gözü versin.
Hakem promptunu da bir prompt şablonu olarak saklayın: ölçüt ve vaka alanları değişir, yapı sabit kalır. Hakem promptunu üretmekte zorlanırsanız Meta Prompting ile AI Çıktı Kalitesini Katlayın yazısındaki yaklaşımdan yararlanabilirsiniz.
Her denemeden sonra kısa bir sürüm notu yazın. Not, iki hafta sonraki size ya da ekip arkadaşınıza kararın gerekçesini verir:Reddedilen denemeleri de yazın. “Rol tanımı eklemek ton puanını artırmadı, uzunluğu artırdı” gibi bir not, aynı yanlış yola tekrar girmenizi önler.
Kabul ettiğiniz promptu, puan kartıyla birlikte prompt kütüphanenize ekleyin: promptun kendisi, ölçüt ağırlıkları, ortalama, en düşük puan ve kullandığınız test seti. Hazır kaynak arıyorsanız Türkçe Prompt Kütüphaneleri Nerede Bulunur yazısı iyi bir başlangıçtır; ama kütüphaneden aldığınız promptu da kendi test setinizle ölçmeden işinize koşmayın.
Son olarak ölçümü bir kereye mahsus yapmayın. Model değiştiğinde, sistem promptunu güncellediğinizde ya da girdi türleri farklılaştığında aynı tabloyu yeniden çalıştırın. Bunun için yarım saatlik bir plan yeterli: test setini eski ve yeni ayarla çalıştırın, puanları karşılaştırın, düşen ölçüt varsa sürüm notuna ekleyin. Ayrıştığınız noktayı görmek, promptu körlemesine değiştirmekten her zaman ucuzdur.
Neden Promptları Gözle Değil Puanla Karşılaştırmalısınız?
Gözle değerlendirmenin üç bilinen sorunu var. Birincisi son okunan çıktının etkisidir: B sürümünün üçüncü örneği parlaksa, A sürümünün ilk iki örnekteki sağlam işini unutursunuz. İkincisi standartların kaymasıdır; sabah “yeterince kısa” bulduğunuz bir cevabı öğleden sonra uzun bulabilirsiniz. Üçüncüsü hafızadır: hangi değişikliğin neyi düzelttiğini yazmadıysanız, iki hafta sonra kararınızın gerekçesi de kaybolur.Tablo bu üç sorunu birlikte çözer. Ölçütler, puan tanımları ve test girdileri sabit kaldığı için prompt sürümleri yan yana karşılaştırılabilir hale gelir. Ekipte iki kişi farklı sonuca vardığında tartışma “bence” düzeyinden çıkıp hangi ölçütte ve hangi vakada ayrıştığınıza iner. Model değiştirdiğinizde ya da sistem promptunu güncellediğinizde de aynı testi yeniden çalıştırıp farkı sayıyla görürsünüz.
Promptun nasıl yazılacağı başka bir konu; temel için Prompt Mühendisliği Nedir? yazısına bakabilirsiniz. Burada odak, yazdığınız promptun nasıl ölçüleceği. Rehberin sonunda elinizde şunlar olacak:
- Göreve özgü ölçüt listesi ve ağırlıkları
- Her puanın somut karşılığını anlatan bir puan ölçeği
- 8-12 vakalık sabit bir test seti
- Kopyalanabilir tablo şablonu ve hakem promptu
- Değişiklikleri kayda geçiren bir sürüm notu düzeni

Tablo kusursuz bir ölçüm aracı değildir. Amacı, kararı “bana öyle geldi”den “şu vakalarda şu puanı aldı”ya taşımaktır.
Adım 1: Başarıyı Önce Yazıya Dökün
Puanlamaya geçmeden önce promptun ne işe yaradığını tek cümleyle yazın. “Müşteri şikâyet e-postalarına, iade politikasına uygun, üç paragrafı geçmeyen, sakin tonlu bir taslak yanıt üretir” gibi bir cümle, “iyi çıktı”nın neye benzediğini de belirler. Cümleyi yazamıyorsanız prompt henüz ölçülecek kadar net değildir.Ardından “iyi çıktı”yı ölçülebilir hale getirin. “Profesyonel görünsün” yerine “müşteriye ismiyle hitap eder, iade süresini doğru verir, olmayan bir kampanya vaat etmez” yazın. Her ifade bir okuyucunun evet ya da hayır diyebileceği kadar somut olmalı.
İkinci iş, elenme listesini çıkarmaktır. Bunlar puanı ne olursa olsun çıktıyı geçersiz kılan hatalardır: uydurma bilgi, yanlış ton, zorunlu bir alanın eksik olması, gizli bilginin sızması gibi. Elenme listesini puan ölçütlerinden ayırmanın nedeni şu: ağırlıklı toplamda ortalamaya karışan bir uydurma bilgi, yüksek puanlı başka ölçütlerin arkasında kaybolabilir.
Aday ölçütleri sıfırdan düşünmek yerine bir modelden taslak isteyebilirsiniz. Aşağıdaki istemi göreve göre doldurun; çıktıyı bir başlangıç olarak görün ve kendi işinize göre ayıklayın.
Sen bir kalite değerlendirme tasarımcısısın. Aşağıdaki görev için bir prompt çıktısının kalitesini ölçmeye yarayacak 4-6 aday ölçüt öner.
Görev: [GÖREV]
Çıktıyı okuyacak kitle: [KİTLE]
Her ölçüt için şunları yaz:
1. Ölçüt adı
2. Tek cümlelik tanım
3. Bu görevde neden önemli olduğu
4. Puanlarken en kolay yanlış anlaşılacak nokta
Ayrıca çıktıyı doğrudan geçersiz kılması gereken 3-5 hata türünü 'Elenme listesi' başlığıyla ayrı ver. Cevabı madde madde ve sade Türkçeyle yaz.
Adım 2: Dört ila Altı Ölçüt Seçin ve Ağırlık Verin
Sık kullanılan ölçütler şunlardır:- Doğruluk: Bilgiler girdiyle ve gerçekle uyumlu mu, uydurma var mı?
- Talimata uyum: Promptta istenen her şey yapılmış, yasaklananlar yapılmamış mı?
- Ton ve dil: Türkçe akıcı mı, doğal mı, kitleye uygun mu?
- Eksiksizlik: Beklenen tüm alanlar ve noktalar var mı?
- Biçim: İstenen yapı, uzunluk ve başlık düzeni korunmuş mu?
- Kısalık: Gereksiz tekrar ve dolgu olmadan söylenmiş mi?
Ağırlıklar işe göre değişir. Müşteri e-postasında ton ağır basar; yanlış tonlu doğru bir e-posta müşteriyi yine de kaybettirebilir. Rapor özetinde ise doğruluk öndedir; akıcı ama hatalı bir özet, kötü yazılmış doğru bir özetten daha zararlıdır. Ağırlıkların toplamını 100 yapmak hesabı kolaylaştırır:
Müşteri e-postası taslağı:
Ton ve dil 30 | Doğruluk 25 | Talimata uyum 20 | Eksiksizlik 15 | Biçim 10
Rapor özeti:
Doğruluk 40 | Eksiksizlik 20 | Talimata uyum 15 | Kısalık 15 | Biçim 10
Adım 3: Her Puan İçin Davranış Tanımı Yazın
Puan ölçeği olarak 1-5 ya da 0-2 seçebilirsiniz. 1-5 ince farkları yakalar ama puanlayanlar arasında daha fazla sapma doğurur; 0-2 (karşılamıyor, kısmen karşılıyor, tam karşılıyor) hızlıdır ve ekip içi tutarlılığı artırır. Başlangıç için 1-5 ölçeğinde yalnızca 1, 3 ve 5 puanını tanımlamak, 2 ve 4'ü “arası” bırakmak pratik bir yoldur.Burada “iyi”, “orta”, “yeterli” gibi sözcüklerden kaçının. Bir puanın tanımı, iki kişinin aynı çıktıya bakınca aynı sonuca varabileceği gözlenebilir bir davranış olmalı. Örnek bir satır:
Ölçüt: Talimata uyum
1 puan: Promptta istenen maddelerin yarısından fazlası eksik ya da yasaklanan bir davranış var (örn. istenmediği halde indirim önerisi).
3 puan: Tüm temel maddeler var, ancak bir ya da iki ikincil talimat atlanmış (örn. uzunluk sınırı aşılmış, imza biçimi yanlış).
5 puan: Tüm talimatlar eksiksiz uygulanmış, yasaklanan hiçbir davranış yok.
Adım 4: Test Setini Hazırlayın
Test seti, gerçek işinizden seçtiğiniz 8-12 girdidir. Dağılım için şu oran makul bir başlangıçtır: yarısı tipik vaka, üçte biri zor vaka (belirsiz girdi, çelişen bilgi, çok uzun metin), kalanı uç durum (boş alan, beklenmedik dil, kısa ve eksik girdi). Sadece kolay vakalarla test ederseniz her prompt başarılı görünür.Her girdi için beklenen çıktının özelliklerini kısaca not edin. Tam doğru cevabı yazmanız şart değil; “iade süresi 14 gün olarak geçer, özür bir cümleyi aşmaz” gibi kontrol edilebilir birkaç madde yeter. Bu notlar hem sizin hem de hakem modelin puanlama yaparken baktığı referans olur.
VAKA-01 | Tür: tipik
Girdi: [GİRDİ METNİ]
Beklenen özellikler: [ör. 3 paragrafı geçmez; iade süresini doğru verir; özür tonu abartısız]
Elenme riski: [ör. olmayan bir kampanya vaat etmek]
Adım 5: Tabloyu Kurun ve Puanlayın
Tabloda her satır, bir prompt sürümünün bir test vakasında verdiği çıktıdır. Sütunlar şöyle olsun: test vakası, prompt sürümü, her ölçüt için puan, ağırlıklı toplam, elenme işareti ve not. Aşağıdaki şablonu kopyalayıp elektronik tabloya yapıştırın; metni sütunlara bölme özelliğiyle ayırıcı olarak dikey çizgiyi seçin. Rakamlar yalnızca örnektir.
Ağırlık | | 25 | 20 | 30 | 15 | 10 | 100 | |
Vaka | Sürüm | Doğruluk | Talimata uyum | Ton ve dil | Eksiksizlik | Biçim | Ağırlıklı toplam | Elenme | Not
V01 | v1 | 4 | 5 | 3 | 4 | 5 | 80 | Hayır | Ton fazla resmi
V02 | v1 | 3 | 3 | 4 | 3 | 4 | 68 | Hayır | İade süresi eksik
V03 | v1 | 5 | 4 | 2 | 5 | 5 | 78 | Evet | Olmayan kampanya vaat etti
V01 | v2 | 5 | 5 | 4 | 4 | 5 | 91 | Hayır |
V02 | v2 | 4 | 4 | 4 | 4 | 4 | 80 | Hayır |
V03 | v2 | 5 | 5 | 4 | 5 | 5 | 94 | Hayır |

Puanlama sırası da önemli. Her çıktıda önce elenme listesine bakın; bir madde tetikleniyorsa notu yazıp o satırı kapatın, ölçütlere geçmeyin. Elenmeyen çıktılarda ölçütleri tanımlara bakarak puanlayın. Mümkünse sürüm sütununu gizleyip satırları karıştırın: hangisinin yeni sürüm olduğunu bilmek, farkında olmadan ona yüksek puan vermenize yol açar.
Sonuçları okurken her sürüm için ortalama ile en düşük puanı birlikte bakın. Örnek tabloda v1'in ortalaması yaklaşık 75, v2'nin yaklaşık 88'dir; ama asıl bilgi v1'deki V03 satırının elenmiş olmasıdır. Ortalama yüksek olsa bile tek bir ciddi hata gerçek kullanımda sorun yaratabilir; ortalamayı yalnızca elenmeyen satırlarda ve en düşük puanla birlikte okumak bu yüzden daha güvenlidir.
Adım 6: İkinci Bir Modeli Hakem Olarak Kullanın
Doksan çıktıyı elle puanlamak her seferinde mümkün olmayabilir. Burada ikinci bir model hakem olabilir: ölçüt tanımlarını ve puan ölçeğini verir, gerekçeli puan istersiniz. Hakem için çıktıyı üreten modelden farklı bir model ya da en azından yeni bir sohbet kullanın; modeller kendi ürettikleri metne cömert davranabilir. Gerekçeyi puandan önce yazdırmak, puanın dayanaksız verilmesini azaltır; bu, düşünce zinciri mantığının hakem tarafındaki karşılığıdır.
Sen titiz bir değerlendirme uzmanısın. Aşağıdaki girdiye verilen çıktıyı, verilen ölçütlere ve puan tanımlarına göre değerlendir. Çıktının uzunluğuna ya da süslü anlatımına değil, yalnızca tanımlara bak.
GÖREV TANIMI: [GÖREV]
GİRDİ: [GİRDİ]
BEKLENEN ÖZELLİKLER: [BEKLENEN ÖZELLİKLER]
DEĞERLENDİRİLECEK ÇIKTI: [ÇIKTI]
ÖLÇÜTLER VE PUAN TANIMLARI (1-5):
[ÖLÇÜT ADLARI, TANIMLARI VE 1-3-5 PUANLARININ KARŞILIKLARI]
ELENME LİSTESİ:
[ELENME MADDELERİ]
Önce elenme listesini kontrol et. Sonra her ölçüt için çıktıdan somut bir kanıt göstererek kısa bir gerekçe yaz, ardından puan ver. İki puan arasında kalırsan düşük olanı seç. Yalnızca şu biçimde cevap ver:
{
"elenme": true veya false,
"elenme_gerekcesi": "...",
"puanlar": {
"dogruluk": {"gerekce": "...", "puan": 0},
"talimata_uyum": {"gerekce": "...", "puan": 0},
"ton_ve_dil": {"gerekce": "...", "puan": 0}
}
}
Hakemin sınırlarını da bilin. Modeller uzun, süslü ve iddialı çıktıları kayırma eğilimi gösterebilir; “kısalık” ölçütü olan bir işte bu, puanları çarpıtır. Sürüm bilgisini hakemden gizleyin, çıktı sırasını değiştirin ve talimatta uzunluğa bakmamasını yazın. Müşteriye giden içerik, hukuki ya da finansal metin gibi kritik kararlarda ise hakem yalnızca ön eleme yapsın; son kararı insan gözü versin.
Hakem promptunu da bir prompt şablonu olarak saklayın: ölçüt ve vaka alanları değişir, yapı sabit kalır. Hakem promptunu üretmekte zorlanırsanız Meta Prompting ile AI Çıktı Kalitesini Katlayın yazısındaki yaklaşımdan yararlanabilirsiniz.
Adım 7: Sonuçlara Göre Promptu Düzeltin ve Kayıt Tutun
Tablo size en düşük puanlı ölçütü ve en çok zorlanan vakayı gösterir. Düzeltmeye oradan başlayın ve tek seferde tek değişiklik yapın. Örneğin ton puanı düşükse promptun başına bir rol tanımı ekleyin ya da ton için iki örnek cümle verin, ama ikisini aynı anda yapmayın. İki değişiklik birlikte puanı artırırsa hangisinin işe yaradığını bilemezsiniz. Yeni sürümü aynı test setiyle yeniden ölçün.Her denemeden sonra kısa bir sürüm notu yazın. Not, iki hafta sonraki size ya da ekip arkadaşınıza kararın gerekçesini verir:
Sürüm: v3
Tarih: [TARİH]
Değişiklik: [ör. Ton için iki örnek cümle eklendi]
Hedef ölçüt: [ör. Ton ve dil]
Puan değişimi: [ör. Ton ortalaması 3,2'den 4,1'e; doğruluk değişmedi]
En düşük vaka: [ör. V07, 62'den 71'e]
Elenme: [ör. 0 vaka]
Karar: [Kabul / Red] — [Gerekçe]
Kabul ettiğiniz promptu, puan kartıyla birlikte prompt kütüphanenize ekleyin: promptun kendisi, ölçüt ağırlıkları, ortalama, en düşük puan ve kullandığınız test seti. Hazır kaynak arıyorsanız Türkçe Prompt Kütüphaneleri Nerede Bulunur yazısı iyi bir başlangıçtır; ama kütüphaneden aldığınız promptu da kendi test setinizle ölçmeden işinize koşmayın.
Son olarak ölçümü bir kereye mahsus yapmayın. Model değiştiğinde, sistem promptunu güncellediğinizde ya da girdi türleri farklılaştığında aynı tabloyu yeniden çalıştırın. Bunun için yarım saatlik bir plan yeterli: test setini eski ve yeni ayarla çalıştırın, puanları karşılaştırın, düşen ölçüt varsa sürüm notuna ekleyin. Ayrıştığınız noktayı görmek, promptu körlemesine değiştirmekten her zaman ucuzdur.
Bu yazı işine yaradı mı?
Teşekkürler!