- Motorlar
- ChatGPT'yi OpenAI geliştirici API'si üzerinden, web araması açık olarak ölçeriz; bu cevaplar ChatGPT uygulamasında görülen cevaplarla birebir aynı olmayabilir. Google AI Modu ve AI Bakışı, Google sonuç sayfasının gönderilen şehir ve dil ayarıyla alınan kaydıdır. Gemini ölçümü şu an kapalı. Aşağıdaki tabloda her yapay zekânın yöntemi ve durumu var.
- Sorular
- Sizinle ilgili gerçek soru kalıpları: marka, şube, hizmet ve “yakınımda” soruları. Soru seti sabittir; değişince sürümü yazılır ve önce/sonra karşılaştırması aynı sette yapılır.
- Tekrar
- Aynı soru aynı motorda birden çok kez sorulur; yapay zekâ cevapları her seferinde değişebilir.
- Ölçüm döngüsü
- Google AI Modu ve AI Bakışı her hafta ölçülür. ChatGPT'de sorular dönüşümlü ölçülür: her hafta soruların bir bölümü, her soru en geç dört haftada bir (Gemini açıldığında aynı döngüyle). Haftalar arası düşüş uyarısı yalnızca her hafta aynı sorulardan oluşan sabit bir set üzerinden (Google AI Modu) hesaplanır. Ölçülmeyen bir soru “anılmadı” sayılmaz; oranlar yalnızca ölçülen cevaplardan hesaplanır.
- Aralıklar
- Oranları tek sayı değil, %95 güven aralığıyla veririz. Az cevap varsa aralık geniştir ve bunu yazarız.
- Doğrulanmış ve Olası
- Onaylı bilgiyle açıkça çelişen iddia “Doğrulanmış”, eksik ya da belirsiz olan “Olası” olarak gösterilir. Emin olmadığımız şeyi bulgu olarak göstermeyiz.
- Onay kapısı
- Bilgilerinizi sitenizden çıkarırız; siz onaylamadan hiçbir bilgi ölçüme girmez.
- Dönemsel ve talebe bağlı hizmetler
- Belli dönemlerde ya da talebe göre sunulan hizmetler “yok” diye işaretlenmez; dönemi belirtilmeden söylenirse ayrıca gösterilir.
- Düzeltme döngüsü
- “Düzelttim” dediğinizde aynı sorular yeniden sorulur; düzelme süresini ve sonra yeniden görülüp görülmediğini yazarız.
- Ne ölçemiyoruz
- Bir kişinin hesabına özel (kişiselleştirilmiş) cevaplar; gerçek kullanıcıların bir soruyu ne sıklıkla sorduğu; yapay zekânın bir sonraki cevabı. Sonuçlar bir tahmin değil, ölçtüğümüz cevapların özetidir.