2 artykuły z tagiem “robots.txt”
Co oznacza błąd 403 Forbidden, dlaczego roboty AI dostają go mimo zgody w robots.txt i jak sprawdzić, czy GPTBot, ClaudeBot czy PerplexityBot widzą stronę.
Robots.txt — kompletny przewodnik 2026: składnia, AI bots blocking (GPTBot, ClaudeBot, CCBot), crawl-delay, sitemap directive, najczęstsze błędy.