Searchestra yapay zeka görünürlüğünü nasıl ölçer

Yapay zeka görünürlüğü, ancak ardındaki yöntem kadar güvenilirdir. Bu sayfa, ölçümü nasıl yaptığımızı sade bir dille anlatır; böylece sayılarımıza körlemesine güvenmek yerine onları yargılayabilirsiniz. Ne yaptığımız konusunda bilinçli olarak spesifik, ne iddia etmediğimiz konusunda ise dürüsttür.

Yöntemimizi neden yayımlıyoruz

İki yapay zeka görünürlük aracı aynı markayı ölçüp farklı sayılar raporlayabilir; çünkü farklı sorular, motor kapsamı ve tanımlar kullanırlar. Yöntemin başlık skordan daha önemli olmasının nedeni tam da budur. Körlemesine güvenmeniz gereken kendinden emin bir rakam yerine, sorgulayabileceğiniz bir sayıya güvenmenizi tercih ederiz. Bu, IAB'nin Measuring Visibility in the AI Era çerçevesinin ölçüm sağlayıcılardan beklediği şeffaflığı yansıtır. Ayrıca bkz. yönsel vs karar-nitelikli ve bir sağlayıcıya ne sormalı.

İzlediğimiz yapay zeka yanıt motorları

Asistanları ve yapay zeka arama yüzeylerini kapsayan bir yanıt motoru kataloğu tutarız. Her biri kendi başına ölçülür, tek bir gösteriş skoruna asla harmanlanmaz:

Dürüst uyarı: bir motor yalnızca ona erişim yapılandırıldığında sorgulanır. Belirli bir hesap için kapsam, hangi motorların etkin olduğuna bağlıdır; bu yüzden her yüzeyin her zaman canlı olduğunu ima etmek yerine motor bazında raporlarız. Bkz. çoklu-platform toplulaştırma.

Yanıtlar nasıl toplanır

Her motora sağlayıcısının API'si üzerinden, sağlayıcı sunuyorsa kendi web araması açık olarak sorarız: ChatGPT, Gemini, Claude, Meta AI ve Grok. Bir soru için arama yapıp yapmayacağına model kendisi karar verir; aramayı hiçbir zaman zorunlu tutmayız. Arama yapılmadan verilen yanıt, o motorun nasıl davrandığına dair gerçek bir gözlemdir ve bu yüzden her metrikte kalır. Her yanıt için modelin arama yapıp yapmadığını ve kaç arama yaptığını kaydederiz; Atıflar ekranı her motorun ne sıklıkla aramayı seçtiğini gösterir. DeepSeek'in API'si web araması sunmaz, bu yüzden yanıtları modelin kendi bilgisinden gelir. Perplexity, Google AI Overviews ve Google AI Mode'da arama modelin seçimi değil, ürünün parçasıdır: Perplexity'nin kendi yanıt ayarı her yanıttan önce arama yapılmasını ister; AI Overviews ve AI Mode ise yanıtı birden çok ilgili aramadan oluşturan Google Arama özellikleridir. Google bir AI Overview'u yalnızca yararlı bulduğunda gösterir, bu yüzden bazı sorularda hiç yoktur. Bu soruları kaydeder ve bir yapay zeka yanıtının ne sıklıkla gösterildiğini raporlarız, ama diğer metriklerde yanıt olarak sayılmazlar.

Ölçüm birimi

Birimimiz tek bir API çağrısı değil, bir motorla eşleştirilmiş bir sorudur; bir simülasyon değil, gerçek bir istek olarak çalıştırılır. Sonuçlar motor bazında raporlanır; böylece bir yüzeydeki güçlü görünüm, bir diğerindeki görünmezliği asla gizlemez. Model payı ile ses payı arasındaki fark budur: katmanları tek bulanık bir rakama ortalamak yerine ayrı tutarız.

Sorular nereden geliyor

Bir kategorinin soru seti, elle seçilerek değil, bir konu taksonomisinden ve gerçekçi müşteri senaryolarından oluşan bir graftan üretilir; böylece kapsam, bir markanın kazandığı sorulara doğru ayıklanmış değil, sistematik olur. Her soru kendi meta verisini taşır (niyet, senaryo, kaynak türü, sürüm).

Kaynaklandırma üzerine, ki IAB çerçevesi sağlayıcıların bunu açıkça belirtmesini ister: evren, taksonomi ve senaryoları gerçek arama talebi kanıtıyla birleştirir ve sentetik genişletmeyi yalnızca kapsam boşluklarını doldurmak için kullanır, asla setin tamamı olarak değil. Arama-talebi sinyalleri evreni tek başına tanımlamaz, ona bilgi sağlar ve her soru hangi kaynak türünden geldiğini kaydeder.

Sorular niyete göre sınıflandırılır: bilgi, ticari ("en iyi X" gibi öneri-tarzı sorgular dahil), işlemsel, navigasyon ve karşılaştırma. Bu, IAB karar-nitelikli yaklaşımının kapsanmasını ve segmentlenmesini istediği niyet türlerini kapsar ve sınıflandırıcı hem İngilizce hem Türkçe çalışır; böylece açıkça ticari bir Türkçe soru sessizce genel bir soru gibi ele alınmaz.

Soru seti yapı gereği marka-nötrdür: ölçülen marka, hangi soruların üretileceğini etkilemez. Marka kimliği yalnızca zaten üretilmiş adaylar üzerinde bir kabul-ya-da-red kontrolü olarak, sonradan kullanılır; ne sorulacağını şekillendirmek için asla. Bu ayrım, setin sessizce yaltakçı bir sonuca eğilmesini engeller; prompt ve platform önyargısının ardındaki koruma budur.

Set sürümlü ve değişmezdir: bir ölçüm turu, soru setinin tam olarak hangi sürümünü kullandığını kaydeder; böylece sonuçlardaki bir değişim, sorulardaki bir değişimden ayırt edilebilir. Bkz. ölçüm kararlılığı ve yeniden üretilebilirlik.

Her Prompt Evreni için, kullanımdaki soru-seti sürümünün şeffaflık profilini açıklayabiliriz: kaç soru içerdiği, niyete ve kaynak türüne göre nasıl dağıldığı, ağırlıklandırma temeli ve arkasındaki temel ile yenileme politikası. Bunlar, IAB çerçevesinin tanımladığı soru-seti şeffaflık boyutlarının birkaçını kapsar; böylece bir skorun ardındaki soru seti bir kara kutu değildir; burada açığa çıkardıklarımızı hala genişletiyoruz.

Raporladığımız dört katman

Tek bir skor yerine IAB çerçevesinin dört katmanı boyunca raporlarız; böylece temsilin nerede bozulduğunu görebilirsiniz. Katman adları IAB çerçevesinindir; üçüncü sütundaki metrikler Searchestra'nın her katmanı nasıl ölçtüğüdür:

Bunlar kara-kutu bir bileşke değil, ayrı ayrı raporlanan ölçümlerdir. Her birinin tanımı aşağıdadır: neyin sayıldığı, neye bölündüğü ve tanımımızın çerçeveninkinden nerede ayrıldığı. Bkz. yapay zeka görünürlüğünün 4P'si, anılma oranı ve atıf oranı.

Formüller, açıkça

Raporladığımız her sayı, dayandığı yanıtlardan sizin de yeniden hesaplayabileceğiniz düz bir oran ya da ortalamadır. Tescilli bir yeniden ağırlıklandırma ya da harmanlanmış bir skor yoktur. Bir dönemin oranları toplamların toplamlara bölümüdür: dönemdeki tüm uygun yanıtlar önce toplanır, sonra bölünür; günlük yüzdelerin ortalaması alınmaz. Böylece az yanıtlı bir gün, çok yanıtlı bir günle aynı ağırlığı almaz.

Ses Payı: iki seçimimiz

IAB çerçevesi sağlayıcılardan iki seçimi açıkça belirtmelerini ister, çünkü bu seçimler sayıyı değiştirir. Rekabet kategorisi, pazarınız için izlenen marka setidir: markanız ve o pazar için listelenen rakipler; bu seti görebilir ve düzenleyebilirsiniz. Platformlar, yayıncılar ve setin dışındaki diğer adlar hesaba katılmaz. Anılma evreni, tam olarak bu setteki anılmaların toplamıdır; bu yüzden setteki tüm markaların payları toplamda %100 eder. İki araç aynı marka için yalnızca bu iki seçimden dolayı farklı Ses Payı raporlayabilir; bu yüzden seçimlerimizi açıkça yazarız.

Atıf Oranı: neyin atıf sayıldığı

Size ait olarak kayıtlı alan adlarına verilen bağlantılı atıfları sayarız. Markanın bağlantı verilmeden kaynak olarak anılması sayılmaz; bu, çerçevenin tanımından daha dardır. Atıf, motorun yanıtıyla birlikte kendisinin döndürdüğü kaynaktır. Motorlar kaynağı web'de arama yaptıklarında döndürür; bu yüzden arama yapılmadan verilen bir yanıtta ve her DeepSeek yanıtında atıf yoktur. Bu yanıtlar yine de paydada sayılır: size atıf yapmayan bir yanıt eksik veri değil, gerçek bir sonuçtur.

Öneri gücü rubriği

Sizi anan her yanıt için bir dil modeli, IAB çerçevesinin adlandırdığı üç boyutu sınıflandırır: övgü (gerekçeli, genel ya da yok), yanıttaki belirginlik (birincil, birkaç seçenekten biri ya da kenarda) ve koşul (koşulsuz ya da koşullu). Puan, bu etiketlerden sabit bir kuralla hesaplanır: övgü yoksa 0; aksi halde gerekçeli övgü 2, genel övgü 1 puandır; öneri birincilse 1, koşulsuzsa 1 puan daha eklenir. Böylece puan 0 ile 4 arasındadır. 3 ya da 4 alan yanıtlar aktif öneri sayılır. 3 almak için ilk tercih olmak gerekmez: listelenen birkaç seçenekten birine yapılan gerekçeli ve koşulsuz övgü de 3 alır.

Olumsuz bir anılma öneri değildir; ton Portrayal altında raporlanır. Rubrik sürümlüdür: değiştiğinde önceki puanlar ayrı tutulur ve yeni ölçüye asla karıştırılmaz. Modelin çıktısı bir yeniden denemeden sonra da rubriğe uymazsa yanıt tahminle doldurulmaz, puansız bırakılır.

Duygu ve işaretlenen yanlışlıklar

Duygu, yanıtın tamamını okuyan ve markaya yönelik genel tonu için tek bir skor döndüren bir dil modeliyle puanlanır. Bu skor her cümle için değil, yanıtın bütünü içindir ve doğruluğu için bir karşılaştırma ölçütü yayımlamıyoruz; bu yüzden onu bir karar değil, bir sinyal olarak okuyun. Puanlama başarısız olursa yanıta nötr 0 yazılmaz, duygu değeri boş kalır.

Yanlışlıklar, sizi anan yanıtları inceleyen bir dil modeli ve markanın ürün verisi sağladığı durumlarda bu veriyle yapılan sabit kontrollerle işaretlenir; örneğin yanlış fiyat, kanıtsız sağlık iddiası ya da güncelliğini yitirmiş ürün bilgisi. Markanın yanlış konumlandırıldığı çerçeveleme hataları da işaretlenir ama orana girmez, çünkü bunlar bir olgu değil konumlandırma meselesidir. Gerekçesiz verilen bir öneri ise anlatım sorunu sayılmaz; Persuasion altında ölçülür. İşaretler henüz marka verisine ya da atıf yapılan kaynaklara karşı doğrulanmıyor; bu yüzden bu oran çerçevenin Factual Inaccuracy Rate metriği değildir ve bir motorun uydurduğu hatayı yanlış bir kaynaktan aktarılan hatadan ayırmaz.

İvme: iki dönem ne zaman karşılaştırılabilir

İvme, seçilen dönemi eşit uzunluktaki önceki dönemle karşılaştırır. Önceki dönemde veri yoksa ya da Anılma Oranı 0 ise değişim gösterilmez, çünkü sıfırdan yüzde değişim tanımsızdır. Soru seti karşılaştırmayı bozan yeni bir sürüme geçtiğinde raporlar bunu bir temel kırılması olarak işaretler. Motorların model güncellemeleri henüz otomatik tespit edilmiyor; bu yüzden tüm markalarda aynı anda görülen bir sıçramayı, kazanç olarak okumadan önce olası bir platform değişikliği olarak okuyun.

Yeniden üretilebilirlik ve değişim

Yapay zeka yanıtları turdan tura değiştiği için tek bir yanıt hiçbir şey kanıtlamaz. Her soru her motorda günde en fazla bir kez sorulur ve bir dönemin sayıları o dönemdeki tüm günlük yanıtları toplar; böylece tek bir oynak yanıt bir trend gibi görünmez. Sonuçlar her zaman geldikleri sürümlü soru setine bağlıdır ve her yanıt, arkasındaki toplama yönteminin sürümünü kaydeder; böylece yanıtların toplanma biçimindeki bir değişiklik, motordaki bir değişiklikten ayırt edilebilir. Bkz. görünürlük ivmesi ve yapay zeka belirlenimsizliğini anlamak.

Dürüstlük ilkesi

Topladığımızı raporlar, toplayamadığımızı işaretleriz. Bir sinyal ölçülmediğinde, örneğin bir tur için öneri değerlendirmesi etkin değilse, alan bir tahminle doldurulmak yerine boş bırakılır. Verinin yalnızca yönsel bir okumayı desteklediği yerde kendinden emin tek bir sayı sunmayız. Belgelenmiş bir sınır, gizlenecek bir zayıflık değil, titizliğin parçasıdır.

Neyi iddia etmiyoruz

Bir API sonucu, bir ürünün arayüzünde oturum açmış bir kişinin gördüğüyle aynı değildir ve belirli bir sayının hangi katmanı yansıttığı konusunda açığız. Web araması için de aynısı geçerlidir: bir motorun API üzerinden yaptığı arama, sağlayıcının geliştiriciler için sunduğu arama aracıdır ve tüketici uygulamasının yaptığı aramadan farklı olabilir. Duygu, öneri gücü ve işaretlenen yanlışlıklar bir dil modelinin değerlendirmesinden gelir ve karar değil sinyal olarak ele alınır. Atıf sonrası tıklama oranını ölçmüyoruz, çünkü yapay zeka platformları anılma başına tıklama verisi paylaşmıyor. Bir sayı yönsel olduğunda bunu açıkça söyleriz. Bkz. yönsel vs karar-nitelikli ölçüm.

Sık sorulan sorular