W skrócie:
- Pobiera dane na żywo do wyników ChatGPT, a nie do wielomiesięcznego trenowania AI.
- Działa z oficjalnych IP i respektuje protokół robots.txt.
- Zablokowanie go usuwa stronę ze źródeł cytowanych w wyszukiwarce OpenAI.
1. Co to jest OAI-SearchBot?
OAI-SearchBot to dedykowany crawler internetowy OpenAI, który indeksuje publicznie dostępne strony w czasie rzeczywistym, aby zasilać wyniki wyszukiwania w interfejsie ChatGPT. Gdy klienci pytają nas, co to jest OAI-SearchBot i co on oznacza dla ich biznesu, odpowiadam wprost: to mechanizm pozwalający modelom na bieżąco cytować Twoje treści.
2. Starcie gigantów, czyli OAI-SearchBot w zestawieniu z GPTBotem
Dla mnie różnica między tymi dwoma robotami jest fundamentalna. Skoro bot wyszukiwania OpenAI działa w czasie rzeczywistym, to dostarcza modelom aktualny kontekst. Nie uczy się Twoich tekstów, tylko po nie sięga podczas zapytania (w ramach systemów RAG).
GPTBot robi coś zupełnie innego. Zbiera gigabajty danych cyklicznie do długoterminowego trenowania LLM. Problem pojawia się wtedy, gdy ze względów bezpieczeństwa blokujesz wszystkie boty z rodziny OpenAI. Zablokowanie GPTBota nie usuwa witryny z wyników ChatGPT, o ile celowo wpuścisz bota wyszukiwarki.
| Funkcja | Działanie | Efekt blokady |
|---|---|---|
| OAI-SearchBot | Indeksowanie na żywo | Brak strony w źródłach ChatGPT |
| GPTBot | Cykliczne crawlowanie | Brak udziału treści w trenowaniu LLM |
3. Jak kontrolować ChatGPT Search Bota w robots.txt?
W praktyce sterujesz widocznością w świecie AI za pomocą pliku robots.txt. Zablokowanie agenta odpowiedzialnego za search odcina Cię od wyświetleń. W perspektywie rosnącego ruchu agentowego może to negatywnie wpłynąć na wypracowany CTR.
Najlepszym kompromisem dla wydawców jest zablokowanie bota treningowego, ale przepuszczenie wyszukiwarkowego. Wtedy ChatGPT Search Bot wyciągnie Twoją ofertę do odpowiedzi (działa z optymalnym tempem ok. 150 stron/godz.), GPTBot nie będzie pobierał jej na potrzeby treningu modeli.
User-agent: GPTBotDisallow: /User-agent: OAI-SearchBotAllow: /4. Weryfikacja wizyt w logach serwera
Sam User-Agent w logach serwera to za mało, by udowodnić wizytę bota – łatwo go sfałszować. Zawsze sprawdzaj, czy adresy IP z logów pokrywają się z oficjalnym plikiem searchbot.json publikowanym przez OpenAI.
5. Podsumowanie w punktach
Oto fakty, które zadecydują o Twojej widoczności w erze sztucznej inteligencji:
- OAI-SearchBot indeksuje sieć w czasie rzeczywistym na potrzeby wyszukiwania w ChatGPT.
- Crawler ten nie pobiera danych do treningu – to zadanie GPTBota.
- Możesz zarządzać jego dostępem oddzielnie, wpisując reguły do pliku
robots.txt. - Każdą wizytę weryfikuj po adresach IP, bo nazwy w logach serwera bywają fałszowane.
