Bir kullanıcı ChatGPT'ye "Türkiye'de en iyi ön muhasebe programı hangisi" diye soruyor. Yanıt üç dört marka sayıyor, bazen yanına kaynak bağlantısı koyuyor. Senin markan o listede mi? Rakibin hangi cümlede geçiyor? Bu sorulara verilen ad GEO, yani generative engine optimization.
Terim 2023'te arXiv'de yayımlanan, 2024'te KDD konferansında sunulan "GEO: Generative Engine Optimization" başlıklı akademik çalışmadan geliyor. Princeton'dan ve başka kurumlardan araştırmacılar, üretken motorların yanıtlarında içeriğin görünürlüğünü artırmanın yollarını kendi kurdukları bir test setinde ölçtü. Bu yazının konusu iyileştirmeden önceki adım: bugün nerede durduğunu ölçmek.
Arama sonucundan farkı
Google'da bir kelime için sıran ölçülebilir bir pozisyondur. AI yanıtında böyle bir pozisyon yok. Markan ya anılır ya anılmaz, siten ya kaynak gösterilir ya gösterilmez. Anıldıysa da cümlenin tonu önemlidir: "en çok önerilen" ile "bazı kullanıcılar şikâyetçi" aynı anılma sayılmaz.
İkinci fark tekrarlanabilirlik. Aynı soruyu iki kez sorduğunda aynı yanıtı almayabilirsin. Model değişir, arama yaptığı kaynaklar değişir, yanıt uzunluğu değişir. Bu yüzden tek bir ekran görüntüsü kanıt sayılmaz, olsa olsa bir örnektir.
Google tarafındaki yapay zekâ özetleri ayrı bir yüzey. Onu ölçmenin yolunu ayrı yazıda anlattık: AI Overview'da kaynak gösterilmek
Soru seti kur
Ölçüm sabit bir soru setiyle başlar. Soruları müşterinin gerçekten soracağı biçimde yaz, kendi pazarlama dilinle değil. Dört türü karıştırmak işe yarar:
- Kategori sorusu: "en iyi ... uygulaması hangisi".
- Karşılaştırma sorusu: "X mi Y mi daha uygun".
- Sorun sorusu: "... nasıl yapılır", "... için ne kullanmalıyım".
- Marka sorusu: "X güvenilir mi", "X ne işe yarar".
Başlangıç için birkaç düzine soru yeter. Seti sık değiştirme. Her hafta soru ekleyip çıkarırsan haftalar arası kıyas anlamını kaybeder. Yeni soru eklemen gerekiyorsa ayrı bir grup olarak ekle ve eski grubun serisini bozma.
Her yanıtta ne kaydedilir
- Soru, model ve okuma zamanı.
- Markan anıldı mı, anıldıysa hangi cümlede.
- Hangi rakipler anıldı.
- Yanıtın kaynak gösterdiği alan adları.
- Yanıt metninin kendisi ya da en azından başı, sonradan tartışma çıkarsa kanıt olsun diye.
Tek yanıt örneklem değildir
Raporu tekil yanıtlarla değil oranla yaz: "bu hafta 40 sorunun kaçında anıldık". Aynı oranı rakipler için de hesapla. Haftalık bir iki puanlık oynama büyük ihtimalle gürültüdür. Birkaç hafta aynı yöne giden bir kayma ise konuşulmaya değer.
Yanıt alınamayan soruyu anılmadık diye sayma. Model o gün hata verdiyse ya da istek zaman aşımına düştüyse o hücre ölçülmedi olarak kalmalı. Yoksa altyapı sorununu marka görünürlüğü düşüşü diye raporlarsın.
Modelleri de ayrı tut. ChatGPT, Claude, Gemini ve Perplexity aynı soruya farklı markalar sayabilir. Hepsini tek orana ezmek, hangi asistanda geride kaldığını gizler.
ChatGPT siteni hangi botla okuyor
Kaynak gösterilmek için önce okunabilmek gerekir. OpenAI'ın tarayıcılarını anlatan belgesine göre ChatGPT'nin arama özelliklerinde siteleri göstermek için OAI-SearchBot kullanılıyor ve bu botu robots.txt'de engelleyen siteler ChatGPT arama yanıtlarında gösterilmiyor. GPTBot ise başka bir iş yapıyor: içeriğin temel modellerin eğitiminde kullanılıp kullanılamayacağını belirliyor.
Pratik sonucu şu: eğitime kapatmak için GPTBot'u engelleyen bir site, aynı satırda OAI-SearchBot'u da engellediyse ChatGPT aramasında kaynak gösterilme şansını da kapatmış olur. Kendi robots.txt dosyanı bu gözle bir kez oku. Aynı belge robots.txt değişikliğinin arama tarafına yansımasının yaklaşık 24 saat sürebileceğini söylüyor.
Kaynak listesi bir iş listesidir
Yanıtların kaynak gösterdiği alan adlarını haftalar boyunca topladığında bir desen çıkar. Bazı karşılaştırma siteleri, forumlar ya da sektör yayınları sürekli kaynak olarak geliyor olabilir. Bu kaynakların hiçbirinde adı geçmeyen bir marka için yapılacak iş bellidir: o sayfalarda yer almak, eksik ya da eski bilgiyi düzelttirmek.
Ölçümün sınırları
Ölçüm aracının gördüğü yanıt, oturum açmış bir kullanıcının kendi geçmişi ve ayarlarıyla gördüğü yanıtın aynısı olmayabilir. Ölçtüğün şey sabit koşullarda bir eğilimdir, tek tek kullanıcıların ekranı değil. Raporda bunu açıkça yaz, yoksa biri kendi telefonundan sorduğu tek soruyla bütün seriyi tartışmaya açar.
Adversee ile
Adversee'nin SEO modülünde takip ettiğin sorular ChatGPT, Claude, Gemini ve Perplexity'ye düzenli sorulur. Her model için son yanıtta alanının ya da markanın anılıp anılmadığı, anılan takipli rakipler, kaynaklar ve yanıtın başı kaydedilir. Yanıt alınamayan model ölçülmedi olarak görünür. Kaynaklar görünümü de yapay zekâ yanıtlarının en çok gösterdiği siteleri ve senin anılmadığın kaynakları ayrıca listeler.
Rakip hamlelerini otomatik izlemeye başla.