Jak weryfikuję obecność w AI – i czy ma to w ogóle sens?

Ah, kiedyś to były czasy. Wystarczyło spojrzeć na widoczność serwisu, sprawdzić pozycje na frazy – i już wiedzieliśmy, czy idziemy w dobrym kierunku. Ostatnio jednak coraz częściej łapię się na tym, że te stare metryki przestają pasować do nowej, AI-owej rzeczywistości. Zasadnicze pytanie brzmi: czy w ogóle da się sensownie sprawdzić, czy marka jest widoczna w odpowiedziach w ChatGPT albo Gemini? Da się – ale trzeba do tego podejść od trochę innej strony.

Spis treści:

1. Kiedyś było łatwiej (albo przynajmniej bardziej przewidywalnie)
2. AI rozwaliło nam stolik
3. Sprawdźmy to – prościutki test widoczności w AI
4. Problem z „widocznością AI”
5. Jak do tego podchodzimy w Top Online?
   1. Agent Monitor, czyli światełko w tunelu
6. Podsumowanie – czy to ma sens?
7. Podsumowanie w punktach

Kiedyś było łatwiej (albo przynajmniej bardziej przewidywalnie)

W branży SEO przez lata przyzwyczailiśmy się do jednej, podstawowej metryki: widoczności. To był nasz kompas – wskaźnik, który pozwalał szybko oszacować, jak nam idzie z pozycjonowaniem danej strony.

Jeśli widoczność rosła – super, działamy dalej. Jeśli spadała – coś było nie tak i trzeba było wprowadzać korekty. Proste i logiczne.

Zbudowanie crawlera, który sprawdza wyniki organiczne, też nie było żadną filozofią. SERP-y były powtarzalne, stabilne i – co istotne – różne narzędzia pokazywały bardzo zbliżony obraz rzeczywistości. Jasne, były drobne różnice między tymi systemami, ale konsensus istniał.

Do tego doszły platformy typu Semstorm, Senuto czy Ahrefs. Podpinamy API, automatyzujemy raportowanie i właściwie nie musimy nic robić ręcznie.

Najważniejsze jednak było to, że różne badania TOP10 w ogromnej większości przypadków dawały bardzo podobne wyniki. Mówimy o zgodności na poziomie 90%. To pozwalało nam spokojnie:

• ofertować,
• analizować konkurencję,
• raportować,
• przewidywać.

To był świat, który dało się ogarnąć. Był łatwy i przewidywalny.

https://www.quantumrun.com/consulting/ai-mode/

AI rozwaliło nam stolik

No i wjechało AI. Całe na biało.

Naturalnym odruchem było przeniesienie starego myślenia do nowego świata. Skoro mieliśmy widoczność w Google, to czemu nie mielibyśmy mieć „widoczności w AI” (czytaj: w AI Mode, AI Overviews, ChatGPT i wszystkich pozostałych LLM-ach)?

Tak byłoby najłatwiej i… trochę chcieliśmy, żeby tak było.

Nie ma co ukrywać, że siła przyzwyczajeń robi swoje. Dobrze znamy i lubimy widok uporządkowanych wyników wyszukiwania z niebieskimi linkami – więc pytając AI o „najlepszego mechanika we Wrocławiu”, fajnie byłoby dostać stałą listę rekomendacji. Taką, którą można śledzić, porównać i wrzucić do raportu dla klienta.

Tyle że tak to nie działa.

Badania, m.in. te opisywane przez SparkToro, pokazują, że powtarzalność wyników w AI jest praktycznie zerowa (poniżej 1%). Czyli otrzymanie tych samych odpowiedzi przez różnych użytkowników jest w zasadzie niemożliwe.

• Szansa, że ChatGPT lub Google AI poda taki sam zestaw marek przy 100 powtórzeniach: <1%.
• Szansa, że identyczna lista pojawi się w tej samej kolejności: mniej niż 1 na 1 000.

Dlatego też nie mamy co liczyć na pozycje i widoczność w klasycznych rozumieniu.

Sprawdźmy to – prościutki test widoczności w AI

Postanowiłem zrobić sobie najprostszy możliwy eksperyment. Wpisałem kilka razy to samo zapytanie w GPT, bez logowania ani żadnej kombinatoryki.

Takie dostałem odpowiedzi:

Patrząc tylko na TOP5, od razu widać jedną rzecz.

Żaden ranking nie jest taki sam. Ani jeden. Zero powtarzalności.

Tylko jedna restauracja – IDA – pojawiła się w każdym zestawieniu i co ciekawe, zawsze na tej samej pozycji (na 2. miejscu).

Łącznie w tych kilku odpowiedziach przewinęło się aż 11 różnych restauracji. Czyli nawet przy tak wąskim wycinku jak TOP5 robi się spory miszmasz.

Największą „stabilność” widać na samej górze. Pozycje 1 i 2 – Między Mostami i IDA – pojawiają się najczęściej. Ale im niżej, tym bardziej zaczyna to przypominać losowanie.

Jak spojrzymy na to przez pryzmat powtarzalności, wygląda to tak:

• IDA pojawiła się 5 na 5 razy, czyli 100%.
• Między Mostami i The Cork – po 4 na 5, czyli 80%.
• Przystań & Marina – 3 na 5, czyli 60%.
• STÓŁ i La Maddalena – po 2 na 5, czyli 40%.
• Cała reszta – pojedyncze strzały, 1 na 5, czyli 20%.

I teraz pytanie: co z tym zrobić?

Problem z „widocznością AI”

Teoretycznie można to zamienić w jakąś metrykę. Na przykład powiedzieć, że „widoczność” to procent odpowiedzi, w których pojawia się dana marka.

Ale im bardziej próbujemy odwzorować klasyczne SEO w świecie AI, tym bardziej widać, że to się nie klei.

Powodów jest kilka:

• wyniki nie są deterministyczne,
• ranking nie jest stały,
• odpowiedzi są tworzone dynamicznie,
• kontekst użytkownika może mieć ogromne znaczenie,
• wyniki AI to nie jest lista linków, tylko generowana odpowiedź.

Możemy oczywiście robić screeny i pokazywać klientowi: „zobacz, tu jest Twoja strona”. I jasne – ma to jakąś wartość.

Są też narzędzia, które automatycznie generują zapytania i zbierają wyniki. Niektórzy próbują wysyłać np. 100 różnych zapytań do ChataGPT i procentowo określić „widoczność”. W takim przypadku wystarczy po prostu zaznaczyć, w ilu odpowiedziach pojawił się dany serwis.

Wszystko ładnie pięknie, ale cały czas mam wrażenie, że próbujemy zmierzyć coś, co nie zostało zaprojektowane do mierzenia w ten sposób.

Jak do tego podchodzimy w Top Online?

W pewnym momencie stwierdziliśmy, że zamiast walczyć z rzeczywistością, lepiej ją trochę obejść.

Zamiast więc sprawdzać, czy AI wymienia markę, zaczęliśmy patrzeć na coś bardziej namacalnego: czy AI faktycznie „odwiedza” naszą stronę.

Czyli analizujemy ruch generowany przez agentów AI.

Jeśli model dostaje od użytkownika polecenie typu „znajdź najlepsze restauracje” i zaczyna odwiedzać strony, to:

• wchodzi na konkretne adresy,
• zostawia ślad,
• generuje ruch.

I to już możemy zmierzyć. Zresztą już to robimy dla siebie i naszych klientów.

Agent Monitor, czyli światełko w tunelu

Agent Monitor to nasze autorskie narzędzie do śledzenia tych nowych metryk, powiązanych z ruchem agentowym.

Zbiera dane o ruchu na stronie i rozróżnia, co robią użytkownicy, a co robią agenci AI. Dzięki temu jesteśmy w stanie zobaczyć np. jak często modele pokroju ChatGPT odwiedzają dany serwis, jakie podstrony sprawdzają i ile czasu tam spędzają.

I to jest dla mnie duża zmiana perspektywy.

Bo zamiast opierać się na symulacjach typu „wyślijmy 100 zapytań i zobaczymy, co wyjdzie”, pracujemy na konkretnych danych dotyczących ruchu. Nie na przybliżeniach, estymacjach czy zgadywankach.

Czy to rozwiązuje wszystkie problemy? Nie. Nie dowiemy się, na którym „miejscu” jesteśmy (bo tego miejsca po prostu nie ma).

Ale przynajmniej przestajemy udawać, że AI działa jak Google sprzed 10 lat i zaczynamy mierzyć to, co faktycznie da się zmierzyć.

I to jest chyba najbliżej „sensownej” metryki”, jaką na ten moment jesteśmy w stanie wyciągnąć.

Podsumowanie – czy to ma sens?

Nie mam na to pytanie prostej odpowiedzi.

Jako SEO-wcy jesteśmy trochę w kropce. Próbujemy dostosować naszą zabetonowaną rzeczywistość do nowego świata, który nie do końca działa tak, jak byśmy chcieli:

• Z jednej strony – branża bardzo chce mieć metrykę „widoczności w AI”. Bo to coś znajomego, coś, co da się pokazać i czym można się pochwalić (no i oczywiście to sprzedać).
• Z drugiej – wszystko wskazuje na to, że AI nie zostało stworzone z myślą o byciu kolejnymi SERP-ami.

I może zamiast na siłę przenosić stare schematy, powinniśmy trochę zmienić sposób myślenia.

Dla mnie najważniejszym pytaniem nie jest to, czy jesteśmy widoczni, tylko czy jesteśmy brani pod uwagę przez modele językowe.

A jeszcze bardziej: czy wynika z tego jakikolwiek realny ruch i wartość biznesowa?

Bo finalnie nadal o to chodzi.

Podsumowanie w punktach

1. Przez lata w SEO opieraliśmy się na widoczności, która była stabilna, mierzalna i łatwa do interpretacji.
2. Narzędzia i badania SERP-ów dawały spójne wyniki, co pozwalało podejmować decyzje biznesowe z dużą pewnością.
3. Pojawienie się AI zaburzyło ten model, bo wyniki przestały być powtarzalne i przewidywalne.
4. W przeciwieństwie do Google odpowiedzi AI są dynamiczne i niemal za każdym razem inne, nawet dla tego samego zapytania.
5. Próby mierzenia „widoczności w AI” poprzez wielokrotne zapytania prowadzą do uproszczeń i często mylących wniosków.
6. Klasyczne podejście do pozycji i rankingów przestaje mieć sens w kontekście modeli językowych.
7. Zamiast tego warto analizować realny ruch agentowy, czyli to, czy AI faktycznie odwiedza naszą stronę.
8. Narzędzia takie jak Agent Monitor pozwalają opierać się na rzeczywistych danych zamiast na estymacjach.
9. To, czy jesteśmy widoczni, nie jest kluczowe – najważniejszy jest fakt, czy AI wchodzi na nasze strony, cytuje je w odpowiedziach i czy generuje to dla nas wartość.