W skrócie:
- Jest to crawler systematycznie zbierający dane treningowe.
- Możesz go łatwo zablokować z poziomu swojego serwera.
- Nie służy on do pobierania odpowiedzi na żywo do ChatGPT (za to odpowiada zupełnie inny bot).
1. GPTBot – co to jest?
Szukając odpowiedzi na pytanie, co to jest GPTBot, musisz wiedzieć jedno: jest to oficjalny web crawler (robot sieciowy) należący do OpenAI, którego głównym zadaniem jest automatyczne pobieranie publicznie dostępnych treści z internetu w celu trenowania modeli językowych, takich jak GPT-4. W praktyce oznacza to, że zawartość Twojej strony może służyć jako darmowa baza wiedzy dla LLM. Sami regularnie obserwujemy ten ruch w logach i na bieżąco decydujemy, czy chcemy karmić AI naszymi danymi.
2. Po co bot OpenAI wchodzi na Twoją stronę?
Krótko mówiąc, bot OpenAI systematycznie skanuje sieć, aby zbierać ogromne zbiory danych tekstowych. Musisz jednak zrozumieć kluczową różnicę: crawler ten zbiera informacje wyłącznie do trenowania przyszłych modeli, więc działa z myślą o długim horyzoncie czasowym. Z kolei do wyświetlania Twojej strony w bieżących odpowiedziach i wynikach wyszukiwania ChatGPT służy zupełnie inny program, mianowicie OAI-SearchBot. W efekcie zablokowanie opisywanego tutaj robota nie usunie Twojej witryny z bezpośrednich cytowań asystenta AI.
Warto wiedzieć
W logach serwera program ten przedstawia się jako GPTBot User Agent, jednak musisz pamiętać, że same nazwy bardzo łatwo podrobić. Z własnego doświadczenia wiem, że do realnego mierzenia ruchu agentowego, wyłapywania footprintów i skutecznej weryfikacji adresów IP modeli AI najlepiej wykorzystać nasze autorskie narzędzie Agent Monitor.
3. Jak w praktyce zablokować tego crawlera?
Jeśli decydujesz się pójść na całość i całkowicie odciąć OpenAI od swoich autorskich tekstów, cały proces powinieneś zacząć od edycji pliku robots.txt. Według oficjalnej dokumentacji twórców algorytmu, każda zmiana wprowadzona w tym pliku potrzebuje około 24 godzin na pełne przetworzenie przez ich systemy. Uważaj tylko na literówki w samej nazwie robota, ponieważ nawet najmniejszy błąd sprawi, że blokada po prostu nie zadziała.
4. Podsumowanie w punktach
- Opisywany crawler to zautomatyzowane narzędzie zbierające teksty z sieci do szkolenia dużych modeli językowych.
- Zablokowanie go nie sprawi, że znikniesz z bieżących wyników wyszukiwania asystenta AI.
- Odróżnienie go od klasycznych wizyt wymaga dokładnej weryfikacji śladów w logach serwera.
- Blokadę nałożysz za pomocą prostej dyrektywy tekstowej, która odcina dostęp do Twoich zasobów.
