Strona główna >WWW >Techniczne SEO >robots.txt, noindex i X-Robots-Tag

robots.txt, noindex i X-Robots-Tag

Plik robots.txt mówi robotom, dokąd nie mogą wejść, a znacznik noindex i nagłówek X-Robots-Tag – czego nie mogą pokazywać w wynikach. Pomylenie jednego z drugim to jeden z najczęstszych błędów technicznego SEO. Reguły składni, roboty narzędzi AI i testowe kopie strony.

Skanowanie i indeksowanie to dwie różne rzeczy

  • robots.txt blokuje skanowanie: robot nie pobierze strony. Adres może się jednak mimo to pojawić w wynikach wyszukiwania – jeśli prowadzą do niego linki, wyszukiwarka zaindeksuje go bez treści, tylko z adresem i tekstem linków.
  • noindex (znacznik meta albo nagłówek X-Robots-Tag) blokuje indeksowanie: robot stronę pobierze, ale nie doda jej do wyników, a jeśli w nich była, usunie ją.

Z tego wynika najważniejsza reguła artykułu: nie blokuj w robots.txt strony z noindex. Robot, który nie może pobrać strony, nigdy nie dowie się o noindex, a adres może zostać w wynikach.

Żadne z nich nie jest zabezpieczeniem. robots.txt to publiczny plik, który może przeczytać każdy, a porządne roboty przestrzegają go dobrowolnie. Administrację i prywatne pliki chroń logowaniem albo hasłem na serwerze (zobacz Ochrona katalogów i plików), nie wpisem w robots.txt – ten przeciwnie zdradziłby, gdzie leżą.

Plik robots.txt

Plik musi leżeć w katalogu głównym strony: https://www.example.com/robots.txt. Obowiązuje tylko dla protokołu, domeny i portu, pod którymi leży – subdomena shop.example.com potrzebuje własnego. To zwykły tekst w kodowaniu UTF-8. Google czyta pierwsze 500 KiB i wynik pamięta zwykle do 24 godzin, zmiana nie działa więc od razu. Składnię opisuje standard RFC 9309 (z 2022 roku), którym kieruje się Google. Reguły Allow i Disallow oraz znaki * i $ obsługują też Bing i Seznam:

# robots.txt strony www.example.com
User-agent: *
Disallow: /search/
Disallow: /*?sort=
Disallow: /*.pdf$
Allow: /documents/price-list.pdf
Sitemap: https://www.example.com/sitemap.xml
  • User-agent – dla którego robota obowiązują reguły poniżej, * = wszystkie roboty. W nazwie robota wielkość liter nie ma znaczenia.
  • Disallow – ścieżka, której robot nie może skanować. Reguła obowiązuje dla wszystkich adresów, które od tej ścieżki się zaczynają: /search/ blokuje /search/ tak samo jak /search/?q=coffee. W ścieżce wielkość liter się rozróżnia. Puste Disallow: nie blokuje niczego.
  • Allow – wyjątek od blokady.
  • * w ścieżce oznacza dowolne znaki, $ na końcu oznacza koniec adresu. /*.pdf$ blokuje więc adresy kończące się na .pdf, ale nie /menu.pdf?v=2.
  • Sitemap – pełny adres mapy witryny. Obowiązuje niezależnie od grupy dla wszystkich robotów, a plik może ich zawierać kilka.
  • # rozpoczyna komentarz.

Jeśli do adresu pasuje kilka reguł, decyduje najdłuższa (najdokładniejsza). Przy równej długości wygrywa Allow. Kolejność wierszy nie ma znaczenia. Na co pozwala przykładowy plik:

/menu/                     dozwolony
/search/?q=coffee          zabroniony   Disallow: /search/
/menu/?sort=price          zabroniony   Disallow: /*?sort=
/menu/?page=2&sort=price   dozwolony
/documents/menu.pdf        zabroniony   Disallow: /*.pdf$
/documents/menu.pdf?v=2    dozwolony
/documents/price-list.pdf  dozwolony    Allow: /documents/price-list.pdf

Reguła /*?sort= wymaga znaku zapytania tuż przed sort, nie obejmie więc adresu, w którym parametr stoi na drugim miejscu (&sort=). /*sort= obejmuje wszystkie pozycje parametru. Cennik jest dozwolony, bo reguła Allow jest dłuższa niż Disallow: /*.pdf$.

Grupy: robot stosuje tylko jedną

Kolejne wiersze User-agent tworzą grupę ze wspólnymi regułami. Robot wybiera jedną grupę – tę, która nazywa go najdokładniej. Grupy * używa tylko wtedy, gdy nie pasuje żadna inna, i reguł obu grup nie łączy:

User-agent: *
Disallow: /search/
Disallow: /print/
User-agent: Googlebot
Disallow: /print/
Googlebot  /search/  dozwolony
Googlebot  /print/   zabroniony
bingbot    /search/  zabroniony
bingbot    /print/   zabroniony

Tutaj Googlebot może wejść do /search/, bo jego grupa tego nie blokuje. Gdy dajesz robotowi własną grupę, powtórz w niej wszystkie ogólne reguły, które mają go dotyczyć.

Odpowiedzi serwera na robots.txt

  • Pliku nie ma (404) albo zwraca inny błąd 4xx – Google w żaden sposób nie ogranicza skanowania. Strona bez robots.txt jest więc w porządku, jeśli niczego nie musisz blokować.
  • Błąd serwera 5xx albo niedostępny serwer – przez pierwsze 12 godzin Google w ogóle nie skanuje strony, a potem przez maksymalnie 30 dni używa ostatniego pliku, który udało się pobrać. Zepsuty robots.txt, który zwraca błąd 500, może tak zatrzymać skanowanie całej strony.
  • Przekierowania – Google podąża za najwyżej pięcioma przekierowaniami.

W Google Search Console znajdziesz raport robots.txt (w ustawieniach): którą wersję pliku Google pobrał ostatnio, kiedy i czy znalazł w niej błędy.

Szybkość skanowania

Reguły Crawl-delay (przerwa między żądaniami w sekundach) Google nie obsługuje, a na przykład Bing i roboty Anthropic jej przestrzegają. Seznam używa zamiast niej własnego Request-rate – na przykład Request-rate: 1/10s = jedna strona na 10 sekund, to zarazem najwolniejsze tempo, jakie SeznamBot akceptuje. Google sam zwalnia skanowanie, gdy serwer odpowiada wolno albo kodami 429, 500 i 503.

Roboty narzędzi AI

Firmy rozwijające modele językowe mają własne roboty, a większość z nich respektuje robots.txt. Rozróżniaj, do czego robot służy – kto zablokuje robota do trenowania modeli, nie usuwa tym strony z wyszukiwania (stan na październik 2026):

  • GPTBot (OpenAI) – treści do trenowania modeli. OAI-SearchBot – wyszukiwanie w ChatGPT, strona, która go blokuje, nie pojawi się w odpowiedziach wyszukiwania ChatGPT. ChatGPT-User – strona, o którą użytkownik poprosi w ChatGPT, według OpenAI robots.txt nie musi go dotyczyć.
  • ClaudeBot (Anthropic) – treści do trenowania modeli. Claude-SearchBot – wyszukiwanie. Claude-User – strony, o które poprosi użytkownik Claude.
  • Google-Extended – nie jest osobnym robotem, tylko nazwą dla robots.txt. Decyduje, czy Google może używać treści pobranych przez Googlebota do trenowania modeli Gemini i do ugruntowania odpowiedzi w aplikacjach Gemini. Na wyszukiwarkę Google i jej przeglądy AI (AI Overviews) nie ma wpływu – dla nich obowiązują te same reguły co dla zwykłych wyników wyszukiwania (Googlebot, noindex, nosnippet).
  • Applebot-Extended – podobnie dla Apple: blokuje trenowanie modeli Apple Intelligence, wyszukiwanie (Applebot) zostaje.
  • CCBot – Common Crawl, publiczne archiwum internetu, z którego czerpie trenowanie wielu modeli.

Zablokowanie trenowania z zachowaniem wyszukiwania:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /search/
GPTBot         /menu/    zabroniony
ClaudeBot      /menu/    zabroniony
CCBot          /menu/    zabroniony
OAI-SearchBot  /menu/    dozwolony
OAI-SearchBot  /search/  zabroniony
Googlebot      /menu/    dozwolony

Reguły obowiązują tylko dla przyszłych pobrań – co robot już pobrał, nie zniknie. Lista robotów się zmienia, aktualne nazwy i przeznaczenie podają ich operatorzy w dokumentacji. Jeśli robot nie respektuje robots.txt, zostaje blokada według adresu IP lub identyfikatora na serwerze.

noindex w znaczniku meta

Z wyników wyszukiwania usuniesz stronę znacznikiem w nagłówku strony:

<meta name="robots" content="noindex">

Za linkami na stronie robot nadal podąża (wartość domyślna to follow). Inne wartości, które obsługuje Google (można je łączyć przecinkami):

  • nofollow – nie podążać za linkami na stronie, none = noindex, nofollow;
  • nosnippet – bez fragmentu tekstu w wynikach, max-snippet:50 – fragment najwyżej 50 znaków;
  • max-image-preview:large – może pokazać duży podgląd obrazu (zalecane dla Google Discover), dalej standard i none;
  • noimageindex – nie indeksować obrazów na stronie, notranslate – nie proponować w wynikach tłumaczenia;
  • unavailable_after: 2026-12-31 – po tej dacie nie pokazywać strony (dobre dla wydarzeń z datą zakończenia).

Wartości noarchive i nocache Google już nie używa. Reguły tylko dla Google pisze się z nazwą googlebot zamiast robots. Gdy reguły sobie przeczą, obowiązuje surowsza.

Tylko część tekstu wyłączy z fragmentów w wynikach atrybut data-nosnippet. Google obsługuje go tylko na elementach span, div i section:

<p>Kawa dnia: Etiopia Yirgacheffe. <span data-nosnippet>Cena według aktualnej oferty przy barze.</span></p>

Starszy zapis googleoff / googleon w komentarzach działał tylko w firmowej wyszukiwarce Google Search Appliance.

X-Robots-Tag: noindex w nagłówku HTTP

Do plików PDF, obrazów czy dokumentów Word nie wstawisz znacznika meta. Te same reguły może jednak przenieść nagłówek HTTP X-Robots-Tag. Usunięcie wszystkich plików PDF i dokumentów biurowych z wyników wyszukiwania w .htaccess (wymaga modułu mod_headers):

<FilesMatch "\.(pdf|docx?|xlsx?)$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Dla stron, które generuje PHP – na przykład wyników wyszukiwania na stronie, które nie należą do indeksu – wyślij nagłówek funkcją header() przed jakimkolwiek wypisaniem:

<?php
// search.php – wyniki wyszukiwania na stronie nie należą do indeksu, ale robot może przechodzić po ich linkach
header('X-Robots-Tag: noindex');

Nagłówek może zawierać kilka reguł oddzielonych przecinkami (noindex, nofollow) i reguły tylko dla jednego robota (X-Robots-Tag: googlebot: nofollow). Sprawdzisz go poleceniem curl -I adres albo w narzędziach deweloperskich przeglądarki (F12, karta Network).

Testowe kopie strony

Testowa wersja strony (test.example.com, beta.example.com) łatwo trafia do wyszukiwarki – wystarczy link albo wysłany e-mail. Najpewniejsza jest ochrona hasłem (Basic Auth w .htaccess): robot stron w ogóle nie pobierze i nikt obcy ich nie zobaczy. Jeśli hasło nie wchodzi w grę, zwracaj na całej kopii nagłówek X-Robots-Tag: noindex.

Częstą pułapką jest sytuacja odwrotna: strona testowa ma w robots.txt blokadę wszystkiego, kopia zostaje wgrana na domenę produkcyjną razem z tym plikiem i strona produkcyjna znika z wyszukiwania. Pomaga robots.txt generowany według domeny. Reguła w .htaccess przekaże żądania o robots.txt skryptowi:

RewriteEngine On
RewriteRule ^robots\.txt$ robots.php [L]
<?php
// robots.php – strona produkcyjna dostaje prawdziwe reguły, każda inna domena (test, localhost) blokadę wszystkiego
header('Content-Type: text/plain; charset=utf-8');
if(!isset($_SERVER['HTTP_HOST']) || $_SERVER['HTTP_HOST'] !== 'www.example.com')
  {
    echo "User-agent: *\nDisallow: /\n";
    exit;
  }
echo "User-agent: *\nDisallow: /search/\nSitemap: https://www.example.com/sitemap.xml\n";

Blokada w robots.txt na domenie testowej zapobiega skanowaniu, ale nie indeksowaniu adresu bez treści – stąd hasło albo noindex, a robots.txt tylko jako uzupełnienie.

Jak strona znika z wyników wyszukiwania

  • Strony już nie ma – zwróć 404 lub 410 albo przekieruj na zamiennik. Wyszukiwarka usunie ją przy następnej wizycie.
  • Strona ma istnieć, tylko nie w wynikach – noindex, a w robots.txt zostaw ją dozwoloną, żeby robot zobaczył znacznik.
  • Sprawa jest pilna (opublikowane dane osobowe) – w Search Console narzędzie Usunięcia (Removals) ukryje adres na około sześć miesięcy. To tylko tymczasowe ukrycie: do tego czasu strona musi zwracać 404 albo mieć noindex, inaczej wróci do wyników.

Powiązane artykuły:
Ochrona katalogów i plików: blokada, adres IP i hasło
mod_rewrite i przyjazne adresy URL
Jak wyszukiwarki skanują i indeksują stronę
Kanoniczne adresy URL i duplikaty treści