Firma usługowa, która chce, żeby klienci znajdowali ją w Google i w czatach AI, nie powinna blokować robotów wyszukiwania: Googlebota, Bingbota, OAI-SearchBot, Claude-SearchBot i PerplexityBot. Blokada robotów, które zbierają dane do trenowania modeli, takich jak GPTBot, ClaudeBot, Google-Extended czy CCBot, to osobna decyzja. Według dokumentacji OpenAI i Google taka blokada nie wyrzuca strony z wyszukiwania. Websly nie blokuje żadnego z nich, bo chcę, żeby modele znały firmę. Fotograf, autor tekstów albo wydawca może zdecydować inaczej.
Trzy rodzaje robotów
Najwięksi dostawcy AI rozdzielają roboty według zadań. Jeden zbiera strony do wyszukiwania, drugi dane do trenowania modeli, trzeci pobiera stronę wtedy, gdy użytkownik poprosi czat o jej przeczytanie.
| Firma | Wyszukiwanie | Trenowanie modeli | Na prośbę użytkownika |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot | według dokumentacji nie zbiera do trenowania | Perplexity-User |
| Googlebot, także dla Przeglądu od AI i trybu AI | znacznik Google-Extended | – | |
| Common Crawl | – | CCBot, otwarte archiwum, z którego korzystają twórcy modeli | – |
Źródła: dokumentacja OpenAI, Anthropic, Perplexity i Google, sprawdzone w październiku 2026.
Co zmienia blokada
OpenAI pisze, że strona, która zablokuje OAI-SearchBot, nie pojawi się w odpowiedziach z wyszukiwania w ChatGPT, najwyżej jako zwykły link nawigacyjny. Blokada GPTBot oznacza tylko tyle, że treść nie ma trafiać do trenowania modeli. Google-Extended to nie osobny robot, tylko znacznik w robots.txt, którym mówisz Google, że nie chcesz, by Twoje treści służyły do trenowania Gemini i do podpierania jego odpowiedzi w innych usługach Google. Według Google nie wpływa to na obecność strony w wyszukiwarce. Przegląd od AI i tryb AI korzystają z Googlebota, więc blokada Google-Extended ich nie wyłącza.
Roboty uruchamiane na prośbę użytkownika to osobny przypadek. OpenAI zaznacza, że reguły z robots.txt mogą nie dotyczyć ChatGPT-User, bo pobranie zlecił człowiek. Perplexity pisze podobnie o Perplexity-User.
Wzór pliku: blokada tylko trenowania
Jeśli chcesz zostać w wyszukiwarkach i czatach, ale nie oddawać treści do trenowania modeli, robots.txt może wyglądać tak:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://twojadomena.pl/sitemap.xml
Roboty wyszukiwania, w tym OAI-SearchBot, Claude-SearchBot i PerplexityBot, podlegają ostatniej grupie i mają wstęp. Plik websly.pl jest prostszy: trzy linie, zgoda dla wszystkich i adres mapy strony.
robots.txt to prośba, a nie zamek
Porządne roboty czytają robots.txt i stosują się do niego. Roboty, które nie chcą się stosować, po prostu go ignorują. Jeśli naprawdę chcesz kogoś odciąć, potrzebna jest blokada na serwerze albo w sieci CDN, najlepiej oparta na sprawdzeniu adresu IP, bo nazwę robota każdy może podać fałszywą. OpenAI i Google publikują listy adresów, z których działają ich roboty.
Zmiany nie działają od razu. OpenAI podaje, że jego systemy dostosowują się do nowego robots.txt po około 24 godzinach, a Perplexity również mówi o czasie do 24 godzin.
Sprawdź też ustawienia hostingu
Przy audycie websly.pl 28 października 2026 wyszło coś, czego nie widać w robots.txt. Zapytania z mojego komputera, które udawały różne roboty, dostawały różne odpowiedzi: udawany Googlebot dostawał odmowę 403, udawany GPTBot odpowiedź 429, a udawany OAI-SearchBot zwykłą stronę. To działanie filtra w sieci CDN hostingu, który sprawdza, czy robot naprawdę przychodzi z adresów swojej firmy. Prawdziwy Googlebot stronę dostaje, co widać w Search Console. Lekcja jest jednak ogólna: hostingi mają w panelu własne ustawienia dla botów, w tym dla botów AI, które działają niezależnie od robots.txt. Zajrzyj do nich, zanim uznasz, że niczego nie blokujesz.
Najczęstsze błędy w robots.txt
- Linia
Disallow: /podUser-agent: *zostawiona po budowie strony na roboczym adresie. Zamyka całą stronę przed wszystkimi wyszukiwarkami. - Zablokowane katalogi ze stylami i skryptami. Google nie widzi wtedy strony tak jak człowiek i może źle ocenić jej wygląd na telefonie.
- Literówka w nazwie robota. Reguła dla „GTPBot” nie dotyczy nikogo.
- Plik w złym miejscu. Roboty szukają go wyłącznie pod adresem twojadomena.pl/robots.txt, w katalogu głównym domeny.
- Próba ukrycia strony przed Google przez robots.txt. Google nie obsługuje w tym pliku reguły noindex, a zablokowana strona może i tak trafić do wyników jako sam adres, jeśli ktoś do niej linkuje. Stronę, która ma zniknąć z wyników, oznacza się znacznikiem meta robots z wartością noindex i zostawia robotowi dostęp, żeby mógł go przeczytać.
Po każdej zmianie sprawdź plik w Search Console, w raporcie dotyczącym pliku robots.txt, który pokazuje, jaką wersję Google pobrał ostatnio i czy znalazł w niej błędy.
Kiedy blokować trenowanie
Blokada robotów treningowych ma sens, gdy Twoja treść jest produktem: płatne artykuły, kursy, zdjęcia, ilustracje, teksty, z których żyjesz. Wtedy nie chcesz, żeby model nauczył się ich i oddawał za darmo. Dla firmy usługowej, której strona opisuje, co robi i dla kogo, rachunek wygląda inaczej. Im lepiej model zna firmę, tym większa szansa, że wspomni o niej w odpowiedzi. Nie widzę powodu, dla którego warsztat albo biuro rachunkowe miałyby ukrywać przed modelami swój cennik i godziny otwarcia.
Jak robię to na stronach klientów
Na stronach, które buduję, robots.txt jest domyślnie otwarty dla wszystkich robotów, z adresem mapy strony na końcu. Przy starcie sprawdzam ustawienia botów w panelu hostingu, bo tam częściej niż w pliku kryje się blokada, o której nikt nie wie. Strona dostaje też plik llms.txt z krótkim opisem firmy i listą najważniejszych stron. Nie obiecuję po nim cudów, bo dane o jego użyciu są skromne, ale kosztuje niewiele. O blokadzie robotów do trenowania decyduje klient. Przy portfolio fotografa albo ilustratora rozmawiamy o niej na starcie, przy stronie warsztatu zwykle nie ma o czym rozmawiać.
Jak sprawdzić, kto odwiedza stronę
Najpewniejsze źródło to logi serwera albo statystyki w panelu hostingu, gdzie widać nazwy robotów i adresy, z których przyszły. Zanim uwierzysz w nazwę, sprawdź adres IP z listą publikowaną przez firmę. Search Console pokazuje w statystykach indeksowania, jak często odwiedza Cię Googlebot i jakie odpowiedzi dostaje od serwera, a Bing Webmaster Tools to samo dla Bingbota.
Jak ChatGPT wybiera polecane firmy, opisałem we wpisie skąd ChatGPT bierze polecenia firm, a jak działa to w Google, we wpisie o Przeglądzie od AI. Jeśli chcesz, żebym sprawdził robots.txt i ustawienia botów na Twoim hostingu, napisz przez formularz. To część usługi marketing w Google. Więcej o tym, czym się zajmuję, na stronie głównej Websly.