Błąd 403 Forbidden a boty AI: robots.txt to nie dostęp
Błąd 403 Forbidden oznacza, że serwer zrozumiał żądanie, ale odmawia jego wykonania. Przy robotach AI ma to konkretną konsekwencję: robots.txt, który dopuszcza GPTBot, ClaudeBot czy PerplexityBot, jest tylko deklaracją, a odpowiedź wydaje serwer albo warstwa przed nim, czyli zapora aplikacji internetowych lub ochrona przed botami w sieci dostarczania treści. Taka warstwa potrafi odpowiedzieć 403 albo stroną z wyzwaniem, zanim żądanie dotrze do strony. Dlatego OpenAI i Perplexity w dokumentacji swoich robotów zalecają nie tylko zgodę w robots.txt, ale też dopuszczenie żądań z opublikowanych zakresów adresów IP, a dowodem dostępu są logi dla tych adresów, nie sam plik robots.txt.
Co oznacza błąd 403 Forbidden
Kod 403 to jeden z kodów odpowiedzi HTTP z grupy 4xx, czyli błędów po stronie klienta. Specyfikacja HTTP, RFC 9110, opisuje go jednym zdaniem: serwer zrozumiał żądanie, ale odmawia jego wykonania. Serwer, który chce wyjaśnić powód odmowy, może go podać w treści odpowiedzi. Jeśli w żądaniu były dane logowania, 403 znaczy, że serwer uznał je za niewystarczające, ale specyfikacja zastrzega, że odmowa może mieć powody niezwiązane z logowaniem. Serwer, który nie chce ujawniać istnienia zasobu, może zamiast 403 odpowiedzieć 404.
W praktyce 403 pojawia się z kilku typowych przyczyn. Na samym serwerze są to uprawnienia plików i katalogów, reguły dostępu dla adresów IP albo krajów, katalog bez pliku startowego przy wyłączonym listowaniu zawartości. Przed serwerem są to zapora aplikacji internetowych (WAF, od Web Application Firewall), ochrona przed botami i limity ruchu w sieci dostarczania treści (CDN), wtyczki bezpieczeństwa w systemie zarządzania treścią. Dla przeglądarki człowieka efekt jest ten sam: strona z komunikatem „Forbidden” albo „Access denied”. Dla robota, który skanuje serwis w imieniu wyszukiwarki albo asystenta AI, różnica między tymi źródłami ma znaczenie, bo każde z nich naprawia się gdzie indziej.
Kod 403 w Google: krótkie przypomnienie
Jak Googlebot traktuje błędy 401 i 403 na zwykłych stronach, opisujemy szczegółowo w artykule o kodach HTTP a SEO. W skrócie: według dokumentacji Google o kodach odpowiedzi wszystkie kody 4xx poza 429 są traktowane tak samo. Google nie używa treści z takich URL-i, nie indeksuje ich, a zaindeksowane z czasem usuwa. Ta sama strona zastrzega, że kodów 401 i 403 nie należy używać do ograniczania tempa skanowania, bo nie mają na nie wpływu.
Jest jeden wyjątek, o którym łatwo zapomnieć: sam plik robots.txt. Specyfikacja robots.txt w dokumentacji Google mówi, że roboty Google traktują każdy kod 4xx poza 429 przy pobieraniu tego pliku tak, jakby prawidłowego robots.txt w ogóle nie było, czyli zakładają brak ograniczeń. Plik robots.txt zwracający 403 nie blokuje więc Googlebota, tylko odbiera właścicielowi kontrolę nad tym, co robot pobiera. Jak zachowują się w tej sytuacji roboty AI, ich operatorzy w przeczytanej przez nas dokumentacji publicznie nie opisują.
Robots.txt to deklaracja, a 403 to decyzja serwera
Plik robots.txt jest prośbą skierowaną do robotów: mówi, które części serwisu mogą pobierać. Nie jest mechanizmem dostępu. Żądanie robota trafia najpierw do sieci dostarczania treści, zapory i ochrony przed botami, a dopiero potem do serwera ze stroną. Każda z tych warstw może odpowiedzieć sama, bez pytania strony o zdanie. Jeśli uzna żądanie za niepożądane, robot dostanie 403, stronę z wyzwaniem albo pustą odpowiedź, a zgoda w robots.txt nie ma tu nic do rzeczy.
Najczęściej dzieje się tak przy ochronie przed botami włączonej z ustawieniami domyślnymi. Reguły, które mają zatrzymać automaty zbierające dane, nie muszą odróżniać robota wyszukiwarki AI od skryptu kopiującego treść. Robots.txt i reguły brzegu sieci zwykle konfigurują też różne osoby w różnych panelach, więc właściciel strony, który w robots.txt świadomie dopuścił OAI-SearchBot, może jednocześnie blokować go na brzegu sieci, nie wiedząc o tym.
Strona z wyzwaniem nie jest dla robota furtką. Anthropic w opisie swoich robotów pisze, że respektują technologie zapobiegające obchodzeniu zabezpieczeń i nie próbują omijać CAPTCHA. Dla takiego robota wyzwanie działa jak blokada, nawet jeśli nikt jej nie zamierzał.
Roboty AI: które do czego służą
Operatorzy dużych modeli językowych używają kilku robotów i każdy ma inną rolę, co ma znaczenie przy ustawianiu reguł. Dokumentacja robotów OpenAI wymienia trzy. OAI-SearchBot służy do pokazywania stron w wynikach wyszukiwania w ChatGPT. GPTBot zbiera treści, które mogą trafić do trenowania modeli. ChatGPT-User odwiedza strony na polecenie użytkownika, nie skanuje sieci automatycznie, a OpenAI zaznacza, że reguły robots.txt mogą go nie dotyczyć. Według tej samej strony zmiana w robots.txt może potrzebować około doby, zanim wyszukiwanie ChatGPT ją uwzględni. Dlaczego udokumentowaną bramką do wyszukiwarki ChatGPT jest właśnie OAI-SearchBot, a nie obecność w Bingu, opisujemy w artykule o Bingu i Microsoft Advertising w wyszukiwaniu AI.
Anthropic opisuje trzy roboty: ClaudeBot zbiera treści, które mogą trafić do trenowania modeli, Claude-User pobiera strony na polecenie użytkownika, a Claude-SearchBot analizuje treści, żeby poprawić jakość wyników wyszukiwania. Perplexity w dokumentacji swoich robotów podaje, że PerplexityBot pokazuje i linkuje strony w wynikach wyszukiwania i nie zbiera treści do trenowania modeli, a Perplexity-User odwiedza strony przy pytaniach użytkowników i zasadniczo pomija reguły robots.txt.
Osobnym przypadkiem jest Google-Extended. Według opisu robotów Google to wyłącznie znacznik w robots.txt, bez własnego nagłówka User-Agent: skanowanie odbywa się zwykłymi robotami Google, a znacznik decyduje, czy pobrane treści mogą służyć do trenowania modeli Gemini i do ugruntowania ich odpowiedzi. Google zaznacza, że Google-Extended nie wpływa na obecność strony w wyszukiwarce i nie jest sygnałem rankingowym. Zablokowanie go w zaporze nie ma więc sensu, bo nie ma czego blokować.
Co zalecają sami operatorzy robotów
Dwie firmy piszą o dostępie wprost. OpenAI, żeby strona mogła pojawiać się w wynikach wyszukiwania ChatGPT, zaleca dopuszczenie OAI-SearchBot w robots.txt i dopuszczenie żądań z opublikowanych zakresów adresów IP, podanych w osobnym pliku JSON dla każdego robota. Perplexity zaleca to samo dla PerplexityBot. Obie dokumentacje traktują więc robots.txt i dostęp sieciowy jako dwa osobne warunki.
Perplexity idzie dalej i ma w dokumentacji sekcję o zaporach aplikacji internetowych. Pisze, że strona chroniona zaporą może wymagać jawnego dopuszczenia robotów Perplexity, i podaje przykładowe reguły dla dwóch popularnych zapór. Zasada jest w nich ta sama: dopasować nagłówek User-Agent danego robota do jego własnych zakresów IP, a nie przepuszczać samego nagłówka. Perplexity zaznacza też, że tryb walki z botami jednego z tych dostawców może nadal wysyłać wyzwanie robotom pasującym do reguły zezwalającej, bo reguła zapory go nie wyłącza.
Anthropic ujmuje sprawę od drugiej strony. Do rezygnacji ze skanowania zaleca robots.txt i ostrzega, że blokowanie adresów IP jego robotów może nie działać poprawnie, bo uniemożliwia im odczytanie pliku robots.txt. Publikuje przy tym listę adresów, z których działają jego roboty. Wniosek dla właściciela strony jest prosty: decyzję o robotach AI podejmuje się w robots.txt, a zapora nie powinna jej po cichu odwracać.
Sprawdzanie dostępu: podstawiony User-Agent to połowa testu
Najprostszy test to żądanie wysłane z nagłówkiem User-Agent robota, na przykład poleceniem curl z opcją -A i tekstem nagłówka skopiowanym z dokumentacji operatora. Pokazuje, co serwer odpowiada na żądanie z takim nagłówkiem. Nie pokazuje, co dostaje prawdziwy robot. Zapora, która weryfikuje roboty po adresie IP, może taki test zablokować jako podszywanie się, choć prawdziwego robota przepuści. Zapora, która patrzy tylko na nagłówek, przepuści test, a i tak może zatrzymać prawdziwego robota inną regułą, na przykład limitem ruchu.
Dlatego dowodem są logi serwera albo sieci dostarczania treści: jakie kody dostały żądania z adresów, które operator robota publikuje jako swoje. Dla Googlebota Google opisuje weryfikację robotów przez odwrotne i zwykłe zapytanie DNS albo przez porównanie z opublikowanymi zakresami IP, a stronę można sprawdzić testem na żywo w narzędziu do sprawdzania URL-a w Search Console. Bing udostępnia narzędzie Verify Bingbot, które sprawdza, czy dany adres IP należy do bingbota.
Dla robotów AI takiego narzędzia operatorzy w dokumentacji swoich robotów nie opisują. OpenAI i Perplexity publikują zakresy IP w plikach JSON, Anthropic publikuje listę adresów. Test wygląda więc tak: z logów wybrać żądania z nagłówkiem danego robota, sprawdzić, czy adres źródłowy mieści się w opublikowanych zakresach, i zobaczyć, jaki kod dostały. Żądanie z nagłówkiem GPTBot spoza zakresów OpenAI to podróbka i jej blokada jest w porządku. Kod 403 dla żądania z opublikowanego zakresu to problem do naprawy.
Na tej stronie: robots.txt i to, co serwuje brzeg sieci
Plik robots.txt tej strony powstaje z kodu przy budowaniu serwisu i poza ogólną regułą dla wszystkich robotów zawiera osobną grupę, która jawnie dopuszcza GPTBot, ClaudeBot, PerplexityBot, Google-Extended i OAI-SearchBot. To deklaracja naszej decyzji, ale nie dowód, że każdy z tych robotów dostaje stronę. Tę różnicę poznaliśmy na innym przykładzie.
Do września 2026 roku funkcja na brzegu sieci, która ukrywała adresy e-mail przed automatami, przepisywała gotowy HTML już po zbudowaniu strony i usuwała z niego linki mailto:. Pliki wychodzące z budowania były poprawne, a strona serwowana czytelnikom nie. Dlatego kontrole po wdrożeniu sprawdzają to, co serwuje brzeg sieci, a nie to, co zbudowaliśmy. Każda zaczyna się od kontroli pozytywnej, na przykład sprawdzenia, że strona główna odpowiada kodem 200. Jeśli ta kontrola padnie, wynik jest oznaczony jako ślepy pomiar, a nie jako „zero błędów”.
Z dostępem robotów jest tak samo. Zgoda w robots.txt mówi, czego chcemy, a to, czy robot przechodzi przez brzeg sieci, jest osobnym pomiarem. Ten sam błąd myślowy, czyli uznanie konfiguracji za dowód, prowadzi do przekonania, że strona jest dostępna dla robotów AI, bo „przecież robots.txt je wpuszcza”.
Czego szukamy w audycie dostępu robotów
W audytach regularnie trafiamy na strony, które w robots.txt dopuszczają roboty AI, a jednocześnie mają włączoną ochronę przed botami po stronie sieci dostarczania treści, wysyłającą tym robotom 403 albo stronę z wyzwaniem. Zwykle nikt nie podjął takiej decyzji świadomie: ochrona została włączona z ustawieniami domyślnymi albo przy okazji innej zmiany. Dlatego dostęp sprawdzamy na trzech poziomach.
Plik robots.txt i jego kod odpowiedzi. Czytamy reguły dla każdego robota osobno i sprawdzamy, czy sam plik odpowiada kodem 200. Plik zwracający 403 albo 5xx zmienia zachowanie robotów niezależnie od tego, co w nim zapisano.
Reguły brzegu sieci. Przeglądamy reguły zapory, tryby ochrony przed botami i limity ruchu: czy któraś z nich obejmuje roboty, które serwis w robots.txt dopuszcza, i czy wyjątki opierają się na zakresach IP operatora, a nie na samym nagłówku.
Logi dla zweryfikowanych adresów. Zestawiamy żądania robotów z opublikowanymi zakresami IP i sprawdzamy kody odpowiedzi. Dopiero ta część mówi, co robot rzeczywiście dostał.
Podsumowanie
Błąd 403 Forbidden oznacza odmowę serwera i może pochodzić z kilku warstw: od uprawnień plików po ochronę przed botami w sieci dostarczania treści. Dla Google strona z 403 wypada z indeksu, a plik robots.txt z 403 jest traktowany jak nieistniejący. Dla robotów AI najważniejsze jest to, że zgoda w robots.txt nie otwiera drogi przez zaporę. OpenAI i Perplexity zalecają dopuszczenie swoich robotów i w robots.txt, i dla opublikowanych zakresów IP, a Anthropic odradza blokowanie adresów zamiast reguł w robots.txt.
Dostęp robota sprawdza się w logach, dla adresów, które operator publikuje jako swoje, a nie w pliku konfiguracyjnym. Taki przegląd robots.txt, reguł brzegu sieci i logów robimy w ramach audytów widoczności w wyszukiwarkach i w odpowiedziach AI. Jeśli chcesz sprawdzić, czy roboty AI w ogóle widzą Twoją stronę, poproś o wycenę.