Searchestra yapay zeka görünürlüğünü nasıl ölçer

Yapay zeka görünürlüğü, ancak ardındaki yöntem kadar güvenilirdir. Bu sayfa, ölçümü nasıl yaptığımızı sade bir dille anlatır; böylece sayılarımıza körlemesine güvenmek yerine onları yargılayabilirsiniz. Ne yaptığımız konusunda bilinçli olarak spesifik, ne iddia etmediğimiz konusunda ise dürüsttür.

Yöntemimizi neden yayımlıyoruz

İki yapay zeka görünürlük aracı aynı markayı ölçüp farklı sayılar raporlayabilir; çünkü farklı sorular, motor kapsamı ve tanımlar kullanırlar. Yöntemin başlık skordan daha önemli olmasının nedeni tam da budur. Körlemesine güvenmeniz gereken kendinden emin bir rakam yerine, sorgulayabileceğiniz bir sayıya güvenmenizi tercih ederiz. Bu, IAB'nin Measuring Visibility in the AI Era çerçevesinin ölçüm sağlayıcılardan beklediği şeffaflığı yansıtır. Ayrıca bkz. yönsel vs karar-nitelikli ve bir sağlayıcıya ne sormalı.

İzlediğimiz yapay zeka yanıt motorları

Asistanları ve yapay zeka arama yüzeylerini kapsayan bir yanıt motoru kataloğu tutarız. Her biri kendi başına ölçülür, tek bir gösteriş skoruna asla harmanlanmaz:

Dürüst uyarı: bir motor yalnızca ona erişim yapılandırıldığında sorgulanır. Belirli bir hesap için kapsam, hangi motorların etkin olduğuna bağlıdır; bu yüzden her yüzeyin her zaman canlı olduğunu ima etmek yerine motor bazında raporlarız. Bkz. çoklu-platform toplulaştırma.

Ölçüm birimi

Birimimiz tek bir API çağrısı değil, bir motorla eşleştirilmiş bir sorudur; bir simülasyon değil, gerçek bir istek olarak çalıştırılır. Sonuçlar motor bazında raporlanır; böylece bir yüzeydeki güçlü görünüm, bir diğerindeki görünmezliği asla gizlemez. Model payı ile ses payı arasındaki fark budur: katmanları tek bulanık bir rakama ortalamak yerine ayrı tutarız.

Soruları nasıl kuruyoruz

Sorular niyete göre sınıflandırılır: bilgi, ticari, işlemsel, navigasyon ve karşılaştırma; böylece sonuçlar alıcıların gerçekte arama yaptığı biçimde segmentlenebilir. Sınıflandırıcı hem İngilizce hem Türkçe çalışır; böylece açıkça ticari bir Türkçe soru sessizce genel bir soru gibi ele alınmaz.

Soru seti yapı gereği marka-nötrdür: ölçülen marka, hangi soruların üretileceğini etkilemez. Marka kimliği yalnızca zaten üretilmiş adaylar üzerinde bir kabul-ya-da-red kontrolü olarak, sonradan kullanılır; ne sorulacağını şekillendirmek için asla. Bu ayrım, setin sessizce yaltakçı bir sonuca eğilmesini engeller; prompt ve platform önyargısının ardındaki koruma budur.

Set sürümlü ve değişmezdir: bir ölçüm turu, soru setinin tam olarak hangi sürümünü kullandığını kaydeder; böylece sonuçlardaki bir değişim, sorulardaki bir değişimden ayırt edilebilir. Bkz. ölçüm kararlılığı ve yeniden üretilebilirlik.

Her proje için, kullanımdaki soru-seti sürümünün şeffaflık profilini açıklayabiliriz: kaç soru içerdiği, niyete ve kaynak türüne göre nasıl dağıldığı, ağırlıklandırma temeli ve arkasındaki temel ile yenileme politikası. Bu, IAB çerçevesinin sağlayıcılardan yayımlamasını istediği soru-seti şeffaflığıdır; böylece bir pay rakamının ardındaki rekabet seti asla bir kara kutu olmaz.

Raporladığımız dört katman

Tek bir skor yerine IAB çerçevesinin dört katmanı boyunca raporlarız; böylece temsilin nerede bozulduğunu görebilirsiniz:

Metrikler kara-kutu bir bileşke değil, şeffaf oranlardır. Öneri payı yalnızca gerçekten ilk tercih olarak önerildiğiniz yanıtları sayar ve salt anılmaktan bilinçli olarak ayrı tutulur. Bkz. yapay zeka görünürlüğünün 4P'si, anılma oranı ve atıf oranı.

Formüller, açıkça

Bir metrik IAB çerçevesindeki tanımla örtüştüğünde, onu tam olarak öyle hesaplarız; tescilli bir yeniden-ağırlıklandırma yok. Paylaşılan, standartlaşmış bir formülü olanlar şunlardır:

Ses Payı, açıkladığımız iki seçime bağlıdır; çünkü bunlar sayıyı değiştirir ve IAB çerçevesi bunu zorunlu tutar: rekabet kategorisinin nasıl tanımlandığı (sette hangi markalar var) ve içindeki toplam anılma evreninin nasıl boyutlandırıldığı. İki araç aynı marka için, yalnızca bu seçimlerden dolayı farklı Ses Payı raporlayabilir; bu yüzden onları gizlemek yerine öne çıkarırız. İvme de dikkatle okunur: bir platform değişikliği temeli kaydırdığında, bunu bir marka zaferi olarak yazmak yerine yeniden-temellendirir ve söyleriz.

Yeniden üretilebilirlik ve değişim

Yapay zeka yanıtları turdan tura değiştiği için tek bir yanıt hiçbir şey kanıtlamaz. Sürümlü soru setinde ölçer ve turlar genelinde toplarız; böylece tek bir oynak yanıt bir trend gibi görünmez. Bir platform değiştiğinde bunu bir pazarlama zaferi değil, yeni bir temel olayı sayarız. Bkz. görünürlük ivmesi ve yapay zeka belirlenimsizliğini anlamak.

Dürüstlük ilkesi

Topladığımızı raporlar, toplayamadığımızı işaretleriz. Bir sinyal ölçülmediğinde, örneğin bir tur için öneri değerlendirmesi etkin değilse, alan bir tahminle doldurulmak yerine boş bırakılır. Verinin yalnızca yönsel bir okumayı desteklediği yerde kendinden emin tek bir sayı sunmayız. Belgelenmiş bir sınır, gizlenecek bir zayıflık değil, titizliğin parçasıdır.

Neyi iddia etmiyoruz

Bir API sonucu, bir ürünün arayüzünde oturum açmış bir kişinin gördüğüyle aynı değildir ve belirli bir sayının hangi katmanı yansıttığı konusunda açığız. Duygu gibi bazı sinyaller, deterministik bir sözlüğü model tabanlı bir okumayla birleştirir ve karar değil sinyal olarak ele alınır. Bir sayı yönsel olduğunda bunu açıkça söyleriz. Bkz. yönsel vs karar-nitelikli ölçüm.

Sık sorulan sorular