Przejdź do treści
arduralab
·8 min

Polityka botów AI: trening a odpowiedzi w robots.txt

MG
Marcin Godula

Współzałożyciel & Head of SEO/Tech

Specjalista SEO, GEO i web development z ponad 15-letnim doświadczeniem. Pomaga firmom B2B budować widoczność w wyszukiwarkach klasycznych i AI.

Polityka botów AI to decyzja podejmowana osobno dla każdego celu, a nie jedna zgoda albo blokada dla „sztucznej inteligencji”. Operatorzy rozdzielają roboty na cztery role: trenowanie modeli (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended), wyszukiwanie i odpowiedzi (OAI-SearchBot, Claude-SearchBot, PerplexityBot, a w Google zwykły Googlebot), pobieranie stron na prośbę użytkownika (ChatGPT-User, Claude-User, Perplexity-User) oraz sprawdzanie reklam (OAI-AdsBot). Można więc zablokować trenowanie i zostać w wyszukiwarkach AI. Trzeba tylko pamiętać, że robots.txt steruje robotami automatycznymi, a pobrania zlecone przez użytkownika nie zawsze go przestrzegają.

Cztery cele, różne roboty

Boty AI łatwo potraktować jako jedną grupę. Dokumentacje operatorów pokazują coś innego: każdy z nich ma osobne roboty do różnych zadań, a zablokowanie jednego nie mówi nic o pozostałych. Dokumentacja robotów OpenAI mówi wprost, że ustawienia dla poszczególnych robotów są od siebie niezależne. Można na przykład wpuścić OAI-SearchBot, żeby strona pojawiała się w wyszukiwaniu ChatGPT, i zablokować GPTBot, żeby treść nie trafiała do trenowania modeli.

Ten artykuł zajmuje się decyzją: którym robotom dać dostęp i do czego. To, czy robot wpuszczony w robots.txt rzeczywiście dostaje stronę, czy zatrzymuje go zapora, jest osobnym pytaniem, które omawiamy w artykule o błędzie 403 dla botów AI. Ogólnie o tym, jak roboty przeglądają strony, piszemy w haśle crawling.

Trenowanie modeli: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended

GPTBot według OpenAI zbiera treści, które mogą posłużyć do trenowania modeli, a zablokowanie go oznacza, że treść strony nie powinna być do tego używana. ClaudeBot pełni tę samą rolę u Anthropic. W opisie robotów Anthropic firma pisze, że ograniczenie dostępu dla ClaudeBot sygnalizuje wyłączenie przyszłych materiałów strony ze zbiorów treningowych.

Dwa kolejne znaczniki nie są osobnymi robotami. Google-Extended według opisu robotów Google to wyłącznie znacznik w robots.txt: skanuje zwykły robot Google, a znacznik decyduje, czy treść może służyć do trenowania przyszłych modeli Gemini i do ugruntowania odpowiedzi w aplikacjach Gemini oraz w Vertex AI. Google zaznacza, że nie wpływa to na obecność w wyszukiwarce i nie jest sygnałem rankingowym.

Podobnie działa Applebot-Extended. Apple w opisie Applebota pisze, że ten znacznik niczego nie skanuje, a jedynie określa, czy dane zebrane przez Applebota mogą trenować modele Apple. Strona, która go blokuje, nadal może się pojawiać w wynikach wyszukiwania Apple.

Wyszukiwanie i odpowiedzi: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot

Druga grupa decyduje o tym, czy strona może pojawić się w odpowiedziach wyszukiwarek AI. OpenAI pisze, że strony zablokowane dla OAI-SearchBot nie będą pokazywane w odpowiedziach wyszukiwania ChatGPT, choć nadal mogą się pojawić jako linki nawigacyjne, a zmiana w robots.txt potrzebuje około doby, żeby system ją uwzględnił. Anthropic opisuje Claude-SearchBot jako robota, który analizuje treści, żeby poprawić trafność wyników wyszukiwania, i ostrzega, że jego zablokowanie może zmniejszyć widoczność strony. Perplexity w dokumentacji swoich robotów podaje, że PerplexityBot pokazuje i linkuje strony w wynikach i nie zbiera treści do trenowania modeli.

Google działa inaczej, bo nie ma osobnego robota dla funkcji AI. W dokumentacji o funkcjach AI w wyszukiwarce Google pisze, że sztuczna inteligencja jest częścią wyszukiwarki, a narzędziem kontroli są reguły robots.txt dla Googlebota. Zablokowanie Googlebota oznacza więc wyjście z całej wyszukiwarki, a nie tylko z AI Overviews. Żeby ograniczyć to, co Google pokazuje ze strony, służą reguły nosnippet, data-nosnippet, max-snippet i noindex. Apple ma podobny mechanizm: reguła nosnippet wyłącza treść strony z odpowiedzi Siri i wyszukiwarki Apple na ogólne pytania, w których Apple korzysta z danych Applebota. Jak dostęp OAI-SearchBot łączy się z wyszukiwaniem w ChatGPT Search, opisujemy w artykule o Bingu, Copilocie i Microsoft Ads.

Pobieranie na prośbę użytkownika i sprawdzanie reklam

Trzecia grupa to roboty, które odwiedzają stronę, gdy użytkownik zada pytanie albo poprosi o przeczytanie konkretnego adresu. Tu operatorzy różnią się najbardziej. OpenAI pisze, że ChatGPT-User nie skanuje sieci automatycznie, a ponieważ działa na polecenie użytkownika, reguły robots.txt mogą go nie dotyczyć. Perplexity podaje, że Perplexity-User zasadniczo pomija robots.txt. Anthropic deklaruje odwrotnie: jego roboty, w tym Claude-User, przestrzegają reguł robots.txt, a zablokowanie Claude-User uniemożliwi pobranie strony w odpowiedzi na pytanie użytkownika.

Czwarta rola jest najnowsza. OAI-AdsBot według OpenAI odwiedza wyłącznie strony docelowe reklam zgłoszonych do ChatGPT, sprawdza ich zgodność z polityką reklamową, a zebranych danych nie używa do trenowania modeli. Firma, która chce się reklamować w ChatGPT, musi go wpuścić. Szczegóły opisujemy w artykule o reklamach w ChatGPT i AI Overviews.

Roboty AI według celu

Poniższa tabela zbiera to, co operatorzy piszą o swoich robotach w dokumentacji przeczytanej 9 listopada 2026 roku. Kolumna o robots.txt mówi, co dokumentacja deklaruje, a nie co da się sprawdzić z zewnątrz. Brak informacji oznacza, że operator tego publicznie nie opisuje, a nie że robot zachowuje się inaczej.

RobotOperatorCelRobots.txt
GPTBotOpenAItrenowanie modeliprzestrzega
OAI-SearchBotOpenAIwyszukiwanie w ChatGPTprzestrzega
ChatGPT-UserOpenAIpobranie na prośbę użytkownikamoże nie dotyczyć
OAI-AdsBotOpenAIsprawdzanie stron docelowych reklamzgoda wymagana przy reklamach
ClaudeBotAnthropictrenowanie modeliprzestrzega
Claude-SearchBotAnthropicwyszukiwanieprzestrzega
Claude-UserAnthropicpobranie na prośbę użytkownikaprzestrzega
PerplexityBotPerplexitywyniki wyszukiwania, bez trenowaniaprzestrzega
Perplexity-UserPerplexitypobranie na prośbę użytkownikazasadniczo pomija
Google-ExtendedGoogletrenowanie Gemini i ugruntowanie w aplikacjach Geminisam znacznik, bez robota
Applebot-ExtendedAppletrenowanie modeli Applesam znacznik, bez robota

Jak zapisać politykę w robots.txt

Według standardu RFC 9309 robot szuka w pliku grupy ze swoją nazwą i stosuje wyłącznie jej reguły. Grupę ogólną z gwiazdką bierze pod uwagę tylko wtedy, gdy żadna grupa nie wymienia go z nazwy. To ważne w praktyce: jeśli robot ma osobną grupę, zakazy z grupy ogólnej trzeba w niej powtórzyć. Jedna grupa może mieć kilka wierszy User-agent. Polityka „wyszukiwanie tak, trenowanie nie” może wyglądać tak:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /koszyk/

User-agent: *
Disallow: /koszyk/

Anthropic przypomina, że regułę trzeba dodać na każdej subdomenie, z której strona chce wyłączyć robota, i odradza blokowanie adresów IP zamiast reguł w robots.txt, bo uniemożliwia to robotowi odczytanie pliku. Jeśli system zarządzania treścią nie pozwala edytować robots.txt, decyzja wymaga zmiany konfiguracji albo systemu; ten punkt opisujemy w artykule o wymaganiach SEO wobec CMS.

Nowe sygnały: preferencje AI w standardach IETF

Nazwy robotów to rozwiązanie każdego operatora z osobna. Anthropic pisze, że od 30 października 2026 roku rozpoznaje sygnał, którym właściciel strony może zapisać preferencję „bez trenowania AI”, oparty na projekcie powstałym w grupie roboczej aipref organizacji IETF, i wprowadza jego obsługę stopniowo we wszystkich usługach. Reguły wymieniające ClaudeBot z nazwy mają przy tym pierwszeństwo przed sygnałem ogólnym.

Google w opisie swoich robotów zapowiada obsługę wspólnego sygnału preferencji trenowania na początek 2027 roku. To zapowiedź, a nie działająca funkcja, a sam standard wciąż powstaje. Na dziś pewnym narzędziem pozostają nazwy robotów w robots.txt. Warto jednak śledzić ten temat, bo wspólny sygnał może uprościć pliki, w których dziś trzeba wymieniać kilkanaście nazw.

Polityka tej strony

Plik robots.txt tej strony powstaje z kodu przy budowaniu serwisu. Zawiera ogólną regułę dla wszystkich robotów, która dopuszcza całą stronę poza katalogiem /api/, i osobną grupę, która jawnie dopuszcza GPTBot, ClaudeBot, PerplexityBot, Google-Extended i OAI-SearchBot. Wpuszczamy więc zarówno roboty wyszukiwawcze, jak i treningowe. To świadoma decyzja: zajmujemy się widocznością firm w wyszukiwarkach i w odpowiedziach AI, więc chcemy, żeby systemy AI mogły poznać naszą treść na każdym etapie.

Dla klientów nie mamy jednej odpowiedzi. W audytach spotykamy dwie skrajności: albo wszystkie roboty AI zablokowane jedną listą skopiowaną bez sprawdzenia, do czego służy każdy z nich, albo brak jakiejkolwiek decyzji. Dlatego zaczynamy od pytania o cel. Firma, która chce chronić treść przed trenowaniem, może zablokować roboty treningowe i zostawić wyszukiwawcze. Firma, której zależy na obecności w odpowiedziach AI, nie powinna blokować OAI-SearchBot, Claude-SearchBot ani PerplexityBot.

Podsumowanie

Polityka botów AI to kilka osobnych decyzji. Roboty treningowe, takie jak GPTBot, ClaudeBot, Google-Extended i Applebot-Extended, decydują o użyciu treści do trenowania modeli. Roboty wyszukiwawcze, takie jak OAI-SearchBot, Claude-SearchBot i PerplexityBot, decydują o obecności w odpowiedziach wyszukiwarek AI, a w Google o wszystkim decyduje Googlebot. Pobrania na prośbę użytkownika nie zawsze przestrzegają robots.txt, a OAI-AdsBot trzeba wpuścić przy reklamach w ChatGPT. Wpuszczenie robota nie gwarantuje, że treść strony trafi do odpowiedzi, ale zablokowanie robota wyszukiwawczego tę drogę utrudnia, a w przypadku OAI-SearchBot według OpenAI ją zamyka.

Przegląd robots.txt, reguł zapory i dostępu robotów AI robimy w ramach audytów widoczności w wyszukiwarkach i w odpowiedziach AI. Jeśli chcesz ustalić politykę botów AI dla swojej strony, poproś o wycenę.

Potrzebujesz pomocy z tym tematem?

Zamów bezpłatny audyt i dowiedz się, jak możemy pomóc Twojej firmie rosnąć w internecie.

Bezpłatna wycena