robots.txt, noindex i X-Robots-Tag
Plik robots.txt mówi robotom, dokąd nie mogą wejść, a znacznik noindex i nagłówek X-Robots-Tag – czego nie mogą pokazywać w wynikach. Pomylenie jednego z drugim to jeden z najczęstszych błędów technicznego SEO. Reguły składni, roboty narzędzi AI i testowe kopie strony.
Skanowanie i indeksowanie to dwie różne rzeczy
- robots.txt blokuje skanowanie: robot nie pobierze strony. Adres może się jednak mimo to pojawić w wynikach wyszukiwania – jeśli prowadzą do niego linki, wyszukiwarka zaindeksuje go bez treści, tylko z adresem i tekstem linków.
- noindex (znacznik meta albo nagłówek X-Robots-Tag) blokuje indeksowanie: robot stronę pobierze, ale nie doda jej do wyników, a jeśli w nich była, usunie ją.
Z tego wynika najważniejsza reguła artykułu: nie blokuj w robots.txt strony z noindex. Robot, który nie może pobrać strony, nigdy nie dowie się o noindex, a adres może zostać w wynikach.
Żadne z nich nie jest zabezpieczeniem. robots.txt to publiczny plik, który może przeczytać każdy, a porządne roboty przestrzegają go dobrowolnie. Administrację i prywatne pliki chroń logowaniem albo hasłem na serwerze (zobacz Ochrona katalogów i plików), nie wpisem w robots.txt – ten przeciwnie zdradziłby, gdzie leżą.
Plik robots.txt
Plik musi leżeć w katalogu głównym strony: https://www.example.com/robots.txt. Obowiązuje tylko dla protokołu, domeny i portu, pod którymi leży – subdomena shop.example.com potrzebuje własnego. To zwykły tekst w kodowaniu UTF-8. Google czyta pierwsze 500 KiB i wynik pamięta zwykle do 24 godzin, zmiana nie działa więc od razu. Składnię opisuje standard RFC 9309 (z 2022 roku), którym kieruje się Google. Reguły Allow i Disallow oraz znaki * i $ obsługują też Bing i Seznam:
# robots.txt strony www.example.com User-agent: * Disallow: /search/ Disallow: /*?sort= Disallow: /*.pdf$ Allow: /documents/price-list.pdf Sitemap: https://www.example.com/sitemap.xml
- User-agent – dla którego robota obowiązują reguły poniżej, * = wszystkie roboty. W nazwie robota wielkość liter nie ma znaczenia.
- Disallow – ścieżka, której robot nie może skanować. Reguła obowiązuje dla wszystkich adresów, które od tej ścieżki się zaczynają: /search/ blokuje /search/ tak samo jak /search/?q=coffee. W ścieżce wielkość liter się rozróżnia. Puste Disallow: nie blokuje niczego.
- Allow – wyjątek od blokady.
- * w ścieżce oznacza dowolne znaki, $ na końcu oznacza koniec adresu. /*.pdf$ blokuje więc adresy kończące się na .pdf, ale nie /menu.pdf?v=2.
- Sitemap – pełny adres mapy witryny. Obowiązuje niezależnie od grupy dla wszystkich robotów, a plik może ich zawierać kilka.
- # rozpoczyna komentarz.
Jeśli do adresu pasuje kilka reguł, decyduje najdłuższa (najdokładniejsza). Przy równej długości wygrywa Allow. Kolejność wierszy nie ma znaczenia. Na co pozwala przykładowy plik:
/menu/ dozwolony /search/?q=coffee zabroniony Disallow: /search/ /menu/?sort=price zabroniony Disallow: /*?sort= /menu/?page=2&sort=price dozwolony /documents/menu.pdf zabroniony Disallow: /*.pdf$ /documents/menu.pdf?v=2 dozwolony /documents/price-list.pdf dozwolony Allow: /documents/price-list.pdf
Reguła /*?sort= wymaga znaku zapytania tuż przed sort, nie obejmie więc adresu, w którym parametr stoi na drugim miejscu (&sort=). /*sort= obejmuje wszystkie pozycje parametru. Cennik jest dozwolony, bo reguła Allow jest dłuższa niż Disallow: /*.pdf$.
Grupy: robot stosuje tylko jedną
Kolejne wiersze User-agent tworzą grupę ze wspólnymi regułami. Robot wybiera jedną grupę – tę, która nazywa go najdokładniej. Grupy * używa tylko wtedy, gdy nie pasuje żadna inna, i reguł obu grup nie łączy:
User-agent: * Disallow: /search/ Disallow: /print/ User-agent: Googlebot Disallow: /print/
Googlebot /search/ dozwolony Googlebot /print/ zabroniony bingbot /search/ zabroniony bingbot /print/ zabroniony
Tutaj Googlebot może wejść do /search/, bo jego grupa tego nie blokuje. Gdy dajesz robotowi własną grupę, powtórz w niej wszystkie ogólne reguły, które mają go dotyczyć.
Odpowiedzi serwera na robots.txt
- Pliku nie ma (404) albo zwraca inny błąd 4xx – Google w żaden sposób nie ogranicza skanowania. Strona bez robots.txt jest więc w porządku, jeśli niczego nie musisz blokować.
- Błąd serwera 5xx albo niedostępny serwer – przez pierwsze 12 godzin Google w ogóle nie skanuje strony, a potem przez maksymalnie 30 dni używa ostatniego pliku, który udało się pobrać. Zepsuty robots.txt, który zwraca błąd 500, może tak zatrzymać skanowanie całej strony.
- Przekierowania – Google podąża za najwyżej pięcioma przekierowaniami.
W Google Search Console znajdziesz raport robots.txt (w ustawieniach): którą wersję pliku Google pobrał ostatnio, kiedy i czy znalazł w niej błędy.
Szybkość skanowania
Reguły Crawl-delay (przerwa między żądaniami w sekundach) Google nie obsługuje, a na przykład Bing i roboty Anthropic jej przestrzegają. Seznam używa zamiast niej własnego Request-rate – na przykład Request-rate: 1/10s = jedna strona na 10 sekund, to zarazem najwolniejsze tempo, jakie SeznamBot akceptuje. Google sam zwalnia skanowanie, gdy serwer odpowiada wolno albo kodami 429, 500 i 503.
Roboty narzędzi AI
Firmy rozwijające modele językowe mają własne roboty, a większość z nich respektuje robots.txt. Rozróżniaj, do czego robot służy – kto zablokuje robota do trenowania modeli, nie usuwa tym strony z wyszukiwania (stan na październik 2026):
- GPTBot (OpenAI) – treści do trenowania modeli. OAI-SearchBot – wyszukiwanie w ChatGPT, strona, która go blokuje, nie pojawi się w odpowiedziach wyszukiwania ChatGPT. ChatGPT-User – strona, o którą użytkownik poprosi w ChatGPT, według OpenAI robots.txt nie musi go dotyczyć.
- ClaudeBot (Anthropic) – treści do trenowania modeli. Claude-SearchBot – wyszukiwanie. Claude-User – strony, o które poprosi użytkownik Claude.
- Google-Extended – nie jest osobnym robotem, tylko nazwą dla robots.txt. Decyduje, czy Google może używać treści pobranych przez Googlebota do trenowania modeli Gemini i do ugruntowania odpowiedzi w aplikacjach Gemini. Na wyszukiwarkę Google i jej przeglądy AI (AI Overviews) nie ma wpływu – dla nich obowiązują te same reguły co dla zwykłych wyników wyszukiwania (Googlebot, noindex, nosnippet).
- Applebot-Extended – podobnie dla Apple: blokuje trenowanie modeli Apple Intelligence, wyszukiwanie (Applebot) zostaje.
- CCBot – Common Crawl, publiczne archiwum internetu, z którego czerpie trenowanie wielu modeli.
Zablokowanie trenowania z zachowaniem wyszukiwania:
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot Disallow: / User-agent: * Disallow: /search/
GPTBot /menu/ zabroniony ClaudeBot /menu/ zabroniony CCBot /menu/ zabroniony OAI-SearchBot /menu/ dozwolony OAI-SearchBot /search/ zabroniony Googlebot /menu/ dozwolony
Reguły obowiązują tylko dla przyszłych pobrań – co robot już pobrał, nie zniknie. Lista robotów się zmienia, aktualne nazwy i przeznaczenie podają ich operatorzy w dokumentacji. Jeśli robot nie respektuje robots.txt, zostaje blokada według adresu IP lub identyfikatora na serwerze.
noindex w znaczniku meta
Z wyników wyszukiwania usuniesz stronę znacznikiem w nagłówku strony:
<meta name="robots" content="noindex">
Za linkami na stronie robot nadal podąża (wartość domyślna to follow). Inne wartości, które obsługuje Google (można je łączyć przecinkami):
- nofollow – nie podążać za linkami na stronie, none = noindex, nofollow;
- nosnippet – bez fragmentu tekstu w wynikach, max-snippet:50 – fragment najwyżej 50 znaków;
- max-image-preview:large – może pokazać duży podgląd obrazu (zalecane dla Google Discover), dalej standard i none;
- noimageindex – nie indeksować obrazów na stronie, notranslate – nie proponować w wynikach tłumaczenia;
- unavailable_after: 2026-12-31 – po tej dacie nie pokazywać strony (dobre dla wydarzeń z datą zakończenia).
Wartości noarchive i nocache Google już nie używa. Reguły tylko dla Google pisze się z nazwą googlebot zamiast robots. Gdy reguły sobie przeczą, obowiązuje surowsza.
Tylko część tekstu wyłączy z fragmentów w wynikach atrybut data-nosnippet. Google obsługuje go tylko na elementach span, div i section:
<p>Kawa dnia: Etiopia Yirgacheffe. <span data-nosnippet>Cena według aktualnej oferty przy barze.</span></p>
Starszy zapis googleoff / googleon w komentarzach działał tylko w firmowej wyszukiwarce Google Search Appliance.
X-Robots-Tag: noindex w nagłówku HTTP
Do plików PDF, obrazów czy dokumentów Word nie wstawisz znacznika meta. Te same reguły może jednak przenieść nagłówek HTTP X-Robots-Tag. Usunięcie wszystkich plików PDF i dokumentów biurowych z wyników wyszukiwania w .htaccess (wymaga modułu mod_headers):
<FilesMatch "\.(pdf|docx?|xlsx?)$"> Header set X-Robots-Tag "noindex" </FilesMatch>
Dla stron, które generuje PHP – na przykład wyników wyszukiwania na stronie, które nie należą do indeksu – wyślij nagłówek funkcją header() przed jakimkolwiek wypisaniem:
<?php
// search.php – wyniki wyszukiwania na stronie nie należą do indeksu, ale robot może przechodzić po ich linkach
header('X-Robots-Tag: noindex');
Nagłówek może zawierać kilka reguł oddzielonych przecinkami (noindex, nofollow) i reguły tylko dla jednego robota (X-Robots-Tag: googlebot: nofollow). Sprawdzisz go poleceniem curl -I adres albo w narzędziach deweloperskich przeglądarki (F12, karta Network).
Testowe kopie strony
Testowa wersja strony (test.example.com, beta.example.com) łatwo trafia do wyszukiwarki – wystarczy link albo wysłany e-mail. Najpewniejsza jest ochrona hasłem (Basic Auth w .htaccess): robot stron w ogóle nie pobierze i nikt obcy ich nie zobaczy. Jeśli hasło nie wchodzi w grę, zwracaj na całej kopii nagłówek X-Robots-Tag: noindex.
Częstą pułapką jest sytuacja odwrotna: strona testowa ma w robots.txt blokadę wszystkiego, kopia zostaje wgrana na domenę produkcyjną razem z tym plikiem i strona produkcyjna znika z wyszukiwania. Pomaga robots.txt generowany według domeny. Reguła w .htaccess przekaże żądania o robots.txt skryptowi:
RewriteEngine On RewriteRule ^robots\.txt$ robots.php [L]
<?php
// robots.php – strona produkcyjna dostaje prawdziwe reguły, każda inna domena (test, localhost) blokadę wszystkiego
header('Content-Type: text/plain; charset=utf-8');
if(!isset($_SERVER['HTTP_HOST']) || $_SERVER['HTTP_HOST'] !== 'www.example.com')
{
echo "User-agent: *\nDisallow: /\n";
exit;
}
echo "User-agent: *\nDisallow: /search/\nSitemap: https://www.example.com/sitemap.xml\n";
Blokada w robots.txt na domenie testowej zapobiega skanowaniu, ale nie indeksowaniu adresu bez treści – stąd hasło albo noindex, a robots.txt tylko jako uzupełnienie.
Jak strona znika z wyników wyszukiwania
- Strony już nie ma – zwróć 404 lub 410 albo przekieruj na zamiennik. Wyszukiwarka usunie ją przy następnej wizycie.
- Strona ma istnieć, tylko nie w wynikach – noindex, a w robots.txt zostaw ją dozwoloną, żeby robot zobaczył znacznik.
- Sprawa jest pilna (opublikowane dane osobowe) – w Search Console narzędzie Usunięcia (Removals) ukryje adres na około sześć miesięcy. To tylko tymczasowe ukrycie: do tego czasu strona musi zwracać 404 albo mieć noindex, inaczej wróci do wyników.
Powiązane artykuły:
Ochrona katalogów i plików: blokada, adres IP i hasło
mod_rewrite i przyjazne adresy URL
Jak wyszukiwarki skanują i indeksują stronę
Kanoniczne adresy URL i duplikaty treści