robots.txt a boty AI (GPTBot, ClaudeBot, Google-Extended) — co blokować

Blokowanie botów AI w robots.txt a widoczność witryny to decyzja, która zależy od celu firmy. Czy chce ograniczyć pobieranie treści do treningu modeli, czy zachować obecność stron w wyszukiwarce i odpowiedziach AI? Plik robots.txt służy przede wszystkim do zarządzania ruchem robotów indeksujących w witrynie. [1]

Nie wszystkie boty AI wykonują to samo zadanie. OpenAI odróżnia GPTBot, który pobiera treści mogące posłużyć do treningu modeli, od OAI-SearchBot, używanego do wyszukiwania w ChatGPT [2]. Warto znać tę różnicę, zanim ograniczymy dostęp któremukolwiek z nich.

Czym jest robots.txt i jak reguluje dostęp botów AI?

Plik robots.txt zawiera instrukcje określające, do których ścieżek witryny mogą zaglądać roboty, w tym boty AI. Reguły przypisuje się do nazw botów, więc nie trzeba traktować wszystkich jednakowo. W grupie wskazanej przez User-agent działają dwie dyrektywy: Allow zezwala na pobieranie, a Disallow go zabrania [3].

Osobne grupy User-agent z regułą Disallow: / mogą ograniczyć wybranym botom AI dostęp do całej witryny. Nie są jednak twardą blokadą techniczną. [4] Liczy się też zakres instrukcji: blokada całej domeny służy innemu celowi niż blokada jednego katalogu [5].

Zakres reguły trzeba dobrać do konkretnego bota i celu firmy.

Kiedy warto blokować boty AI?

Blokada bota AI ma sens, gdy firma nie chce, by pobierał określone publiczne treści. Może objąć katalog albo całą witrynę – zależnie od sposobu publikacji. Najpierw sprawdźmy jednak, czy ten bot nie obsługuje również funkcji, w której zależy nam na widoczności stron. W danej grupie User-agent „Disallow: /” blokuje całą witrynę, a „Disallow: /katalog/” tylko wskazany katalog [6].

Jak zapisać reguły User-agent, Allow i Disallow dla wybranych botów?

Reguły robots.txt przypisują botowi ścieżki dozwolone i niedozwolone. Gdy do adresu pasuje kilka wpisów, wygrywa najbardziej szczegółowy – ten obejmujący najwięcej bajtów ścieżki [3].

• User-agent nazywa bota, którego dotyczą kolejne reguły, na przykład GPTBot.
• Disallow wskazuje ścieżkę wyłączoną z pobierania; wpis dotyczący katalogu ogranicza dostęp do niego, a nie do całej witryny [7].
• Allow wskazuje ścieżkę, którą robot może pobrać w ramach odpowiednio ustawionej grupy.

Osobna grupa User-agent pozwala ustawić zasady dla wybranego bota bez obejmowania nimi pozostałych robotów. Grupa „User-agent: GPTBot” może zawierać „Disallow: /”, podczas gdy grupa „User-agent: *” zawiera „Allow: /” dla innych robotów [3].

Jak sprawdzić dostępność pliku, poprawność reguł i ich działanie dla wybranego bota?

Weryfikacja robots.txt zaczyna się od dostępności pliku, a kończy na sprawdzeniu konkretnego adresu. Po drodze trzeba przeczytać same reguły. Odpowiedź HTTP 200 pozwala Google pobrać i przeanalizować plik, natomiast HTTP 404 oznacza dla niego brak ograniczeń zapisanych w robots.txt [8].

• Dostępność pliku sprawdzamy pod ścieżką /robots.txt właściwego hosta. Wyświetloną treść trzeba porównać z opublikowaną wersją.
• Poprawność reguł wymaga kontroli nazwy w polu User-agent. Trzeba też sprawdzić, czy ścieżki w Allow i Disallow odpowiadają zamierzonemu zakresowi dostępu [7].
• Dostęp Googlebota do danego adresu można sprawdzić w Google Search Console. Narzędzie „Sprawdzenie adresu URL” pokazuje pole „Czy pobieranie jest dozwolone?”. [4]

Wynik dla Googlebota mówi wyłącznie o sprawdzanym adresie i tym robocie. Dostęp pozostałych botów trzeba ocenić oddzielnie. Dotyczy to także GPTBot i OAI-SearchBot – test Googlebota nie rozstrzyga, czy mogą pobrać stronę [2].

Test jednego robota nie zastępuje sprawdzenia pozostałych.

Czym są boty AI, boty wyszukiwania i token Google-Extended?

Boty AI i boty wyszukiwania mogą pobierać te same strony w różnych celach. Googlebot robi to na potrzeby wyszukiwarki Google, a GPTBot i ClaudeBot – na potrzeby rozwoju modeli OpenAI i Anthropic. Google-Extended nie jest osobnym robotem, lecz tokenem sterującym wykorzystaniem treści przez Google. Kontroluje takie wykorzystanie bez wpływu na obecność witryny w Google Search [9].

Poniższa tabela rozdziela nazwy robotów od tokenu Google-Extended według funkcji i zakresu kontroli w robots.txt. Googlebot, GPTBot i OAI-SearchBot są identyfikatorami robotów; Google-Extended służy do kontroli bez osobnego robota [9].

Nazwa	Funkcja	Ograniczenie reguły
Googlebot	Pobiera strony na potrzeby wyszukiwarki Google	Jego reguła nie zastępuje ustawień wykorzystania treści przez inne systemy
GPTBot	Pobiera treści na potrzeby rozwoju modeli OpenAI	Jego blokada nie blokuje bota wyszukiwania OpenAI
OAI-SearchBot	Pobiera strony na potrzeby wyszukiwania w ChatGPT	Dostęp tego bota można ustawić niezależnie od GPTBot
ClaudeBot	Pobiera treści na potrzeby rozwoju modeli Anthropic	Jego blokada nie obejmuje automatycznie innych robotów Anthropic
Google-Extended	Kontroluje wykorzystanie treści przez określone systemy AI Google	Nie blokuje Googlebotowi pobierania strony na potrzeby wyszukiwarki

Reguła robots.txt powinna odnosić się do nazwy zgodnej z celem firmy. Kontrola treningu modeli nie jest tym samym co kontrola widoczności w wyszukiwarce. OpenAI pozwala zablokować GPTBot dla treści mogących służyć treningowi, a osobno ustawić dostęp OAI-SearchBot do wyszukiwania [2].

Rozdzielenie funkcji botów pozwala inaczej potraktować trening modeli i wyszukiwanie.

Podstawy i ograniczenia protokołu wykluczania robotów

Robots Exclusion Protocol opisuje, jak robot odczytuje instrukcje dostępu z robots.txt. Reguły dotyczą pobierania adresów, nie uprawnień użytkownika na serwerze. Ograniczenie zadziała tylko wtedy, gdy robot przeczyta plik i zastosuje przypisane mu instrukcje. Zgodnie z RFC 9309 limit analizowanej części pliku robots.txt musi wynosić co najmniej 500 KiB [3].

Dlaczego plik nie gwarantuje zablokowania dostępu?

Robots.txt nie gwarantuje blokady. Publikuje instrukcje dla robotów, ale nie odmawia im dostępu na serwerze. Robot ignorujący protokół nadal może wysłać żądanie do publicznego adresu, a reguła nie usunie treści pobranej wcześniej przez inny system. Zasoby wymagające ochrony trzeba zabezpieczyć na serwerze, nie samą deklaracją w pliku [3].

Jak działa plik z regułami dla robotów?

Plik robots.txt mówi robotowi, czy może pobrać daną ścieżkę. Na przykład „Disallow: /” w grupie User-agent zabrania objętym nią robotom pobierania ścieżek witryny [6].

• Robot pobiera plik przypisany do hosta, do którego kieruje żądanie.
• Grupa User-agent określa, do których robotów odnoszą się zapisane pod nią instrukcje.
• Reguły ścieżek wyznaczają dostęp do adresu, który robot zamierza pobrać [7].

Wynik odczytu reguł zależy od robota i żądanej ścieżki. Jeśli obok „Disallow: /” znajduje się bardziej szczegółowe „Allow: /public/”, robot może pobierać adresy z katalogu /public/ [8].

Reguła dotyczy pobierania przez robota, nie chroni przed bezpośrednim wejściem na adres.

Jak wygląda przykładowy plik z regułami?

Przykładowy zapis robots.txt ogranicza GPTBot dostęp do wskazanego katalogu: [2]

User-agent: GPTBot

Disallow: /archiwum/

Ścieżka /archiwum/ to jedynie przykład; przy wdrożeniu trzeba wpisać rzeczywistą ścieżkę witryny. Reguła określa instrukcję dla GPTBot, lecz nie zabezpiecza zawartości katalogu przed bezpośrednim dostępem [3].

Konfiguracja pliku robots.txt krok po kroku

Konfiguracja robots.txt wymaga przypisania reguł właściwym robotom. Trzeba też sprawdzić, czy blokada nie obejmie stron, których widoczności firma potrzebuje. Przed zmianą ustalmy cel: ograniczenie pobierania treści przez bota AI czy wyłączenie części witryny ze skanowania. Można wówczas umieścić „Disallow: /” dla GPTBot i „Allow: /” dla OAI-SearchBot w osobnych grupach [2].

Najpierw ustal cel, potem przypisz botowi odpowiednią grupę reguł.

O czym pamiętać przed edycją pliku?

Przed dopisaniem reguł przejrzyjmy istniejące grupy i ścieżki w robots.txt. Kopia pliku pozwoli wrócić do poprzednich ustawień, jeśli pojawi się błąd. Plik należy zapisać w kodowaniu UTF-8, a nazwy dyrektyw i botów zapisać znakami ASCII – bez polskich liter. Google ignoruje zawartość robots.txt po pierwszych 500 KiB, więc ważne reguły muszą znaleźć się wcześniej [8].

Jak wygląda podstawowa zawartość pliku?

Podstawowa zawartość robots.txt to grupy reguł dla robotów. Plik może też zawierać opcjonalny wpis wskazujący mapę witryny.

• User-agent rozpoczyna grupę przeznaczoną dla nazwanego robota.
• Disallow określa ścieżkę, której robot nie powinien pobierać.
• Allow określa ścieżkę dopuszczoną do pobierania w danej grupie.
• Sitemap wskazuje adres mapy witryny, ale nie blokuje robota.

Grupa reguł powinna zawierać tylko ścieżki zgodne z celem ustalonym dla danego robota.

Jakie zasady stosować przy tworzeniu reguł?

Reguły robots.txt piszmy dla rzeczywistych ścieżek i sprawdzonych nazw botów. Zbyt szeroki zapis może objąć strony, które firma chce udostępniać wyszukiwarce. Po zmianie należy przetestować zarówno adresy blokowane, jak i te, które mają pozostać dostępne.

Jak skonfigurować dostęp dla różnych botów AI?

Dostęp botów AI trzeba ustawiać osobno dla każdej nazwy robota lub tokenu. O wyborze reguły decyduje funkcja, którą firma chce ograniczyć.

• GPTBot potrzebuje reguły przypisanej do swojej nazwy, jeśli ograniczenie ma dotyczyć tego robota OpenAI.
• ClaudeBot potrzebuje własnej grupy, gdy ma otrzymać inny zakres dostępu niż GPTBot [3].
• Google-Extended kontroluje wykorzystanie treści przez systemy AI Google. Nie zastępuje reguł dla Googlebota.

Oddzielne grupy pozwalają zmieniać zasady dla wskazanych systemów bez przypadkowego blokowania wszystkich robotów tak samo.

Blokada w robots.txt a noindex: skutki dla Google i odpowiedzi AI

Blokada w robots.txt może utrudnić Google odczytanie strony, lecz nie gwarantuje usunięcia jej adresu z wyników. Noindex ma inne zadanie: przekazuje instrukcję, by nie pokazywać strony w wyszukiwarce. Wybór wpływa więc na dostęp robota do treści oraz na możliwość użycia jej jako źródła.

Jedna instrukcja dotyczy pobrania strony, druga – pokazywania jej w wynikach.

Jak błędna reguła wpływa na indeksowanie w Google i widoczność w AI?

Błędna reguła robots.txt może odciąć Googlebotowi dostęp do strony przeznaczonej do publikacji. Aby ocenić skutek, trzeba porównać regułę z adresem i sprawdzić dostęp robota. Zablokowany adres nadal może pojawić się w wynikach Google, jeśli wyszukiwarka znajdzie go na innych stronach. [10] Sama obecność adresu nie dowodzi więc, że Google odczytał treść potrzebną do przedstawienia strony w odpowiedzi AI [11].

Dlaczego treści mogą pojawić się w odpowiedziach AI mimo zablokowania jednego crawlera?

Blokada jednego crawlera nie zamyka wszystkich dróg pozyskania informacji o stronie. Inny robot może podlegać odrębnym regułom. System odpowiadający na pytanie może też korzystać z treści dostępnych wcześniej lub opublikowanych przez inne strony. Skutek blokady oceniajmy dla konkretnego systemu i jego robota, nie dla „całego AI”.

Czym różni się blokada crawlowania od meta robots i noindex?

Robots.txt dotyczy pobierania adresu, a noindex – jego obecności w wynikach wyszukiwania. W przeciwieństwie do blokady skanowania noindex wymaga, by robot wszedł na stronę i przeczytał instrukcję. [4] Meta robots pozwala umieścić ją w kodzie strony; bez dostępu do strony robot jej nie zobaczy.

Cel blokady przesądza o wyborze narzędzia: robots.txt ogranicza pobieranie, noindex wyklucza stronę z wyników. Jeśli nie mamy pewności, czy Googlebot może pobrać dany adres, sprawdźmy go w Google Search Console. Dostęp innych botów AI wymaga osobnej kontroli [12].

Dostęp botów a cele firmy: trening modeli czy widoczność w AI?

Ograniczenie pobierania treści do treningu modeli i utrzymanie widoczności w AI to dwa różne cele. Wymagają rozpoznania funkcji bota, zakresu blokady i jej wpływu na odkrywanie stron. Firma może ograniczyć robota treningowego, nie odcinając robota wyszukiwania. Nie daje to jednak gwarancji usunięcia treści z modeli ani cytowania strony w odpowiedziach AI.

Tabela porównuje oba cele według funkcji robota, zakresu reguły i ograniczeń dla firmy.

Cel	Funkcja robota	Zakres reguły	Ograniczenie i dla kogo nie
Ograniczenie treningu	Pobiera treści na potrzeby rozwoju modelu	Reguła dla właściwego bota treningowego	Nie cofa wcześniejszego pobrania; nie wystarcza firmie kontrolującej też widoczność w odpowiedziach
Widoczność w AI	Odkrywa lub pobiera publiczne źródła	Dostęp dla robotów obsługujących wyszukiwanie	Nie zapewnia cytowania; nie wystarcza firmie ograniczającej wykorzystanie treści do treningu

SEO wymaga również osobnej decyzji dotyczącej adresów bez wartości dla wyszukiwarki. W dużym sklepie robots.txt może ograniczyć skanowanie 10 000 adresów powstałych wskutek filtrowania. [4] Może to oszczędzać crawl budget – zasoby przeznaczane przez wyszukiwarkę na skanowanie witryny. Zbyt szeroka reguła odetnie jednak także wartościowe strony filtrów.

Werdykt dla firmy: ograniczaj dostęp według funkcji bota i wartości danej grupy adresów. Nie blokuj automatycznie wszystkich robotów AI ani wszystkich adresów z parametrami [2].

Cel firmy określa zarówno wybór bota, jak i zakres reguły.

Publikacja i aktualizacja pliku na serwerze

Plik robots.txt trzeba opublikować w katalogu głównym domeny, aby roboty mogły znaleźć reguły witryny. [10] Zalecany jest jeden plik na domenę. Po aktualizacji sprawdźmy, jaką treść serwer rzeczywiście udostępnia robotom. [4]

CMS, czyli system zarządzania treścią, może oferować ustawienia skanowania bez bezpośredniej edycji robots.txt. [1] W serwisach obsługiwanych przez Wix lub Blogger sposób zmiany reguł zależy od dostępnych ustawień systemu.

• Nazwa pliku musi brzmieć dokładnie robots.txt, by zgadzała się ze ścieżką odczytywaną przez roboty.
• Publikacja pliku wymaga sprawdzenia, czy pod właściwą ścieżką widać aktualną treść, a nie starą wersję.
• Aktualizacja reguł wymaga kontroli, czy nowe instrukcje obejmują zamierzonego bota i właściwe ścieżki.

Opublikowane reguły można rzetelnie sprawdzić dopiero wtedy, gdy pod właściwą ścieżką dostępna jest aktualna wersja pliku.

Czy kolejność grup i reguł ma znaczenie?

Kolejność grup i reguł w robots.txt nie przesądza o dostępie, lecz wielkość liter ma znaczenie. [4] Robot wybiera pasującą grupę i ścieżkę. Nie przyznaje pierwszeństwa linii tylko dlatego, że leży wyżej w pliku.

Tabela pokazuje wpływ kolejności i wielkości liter na dopasowanie oraz podaje typowe błędy i sposób kontroli.

Kryterium	Kolejność grup i reguł	Wielkość liter w ścieżkach
Wpływ na dopasowanie	Samo przeniesienie grupy lub reguły nie daje jej pierwszeństwa	Zmiana zapisu ścieżki może zmienić dopasowanie adresu
Typowy błąd	Założenie, że ostatnia reguła zastępuje wcześniejszą	Użycie innej wielkości liter niż w adresie strony
Kontrola	Sprawdzenie grupy robota i pasujących reguł	Porównanie wpisanej ścieżki ze ścieżką rzeczywistego adresu

Werdykt dla konfiguracji robots.txt: nie przestawiaj wpisów w nadziei na zmianę dostępu. Sprawdzaj, które reguły pasują, oraz dokładny zapis ścieżek.

Od nieformalnej konwencji do standardu: historia protokołu wykluczania robotów

Protokół wykluczania robotów zaczął się od nieformalnej konwencji zaproponowanej przez Martijna Kostera. Później opisano go w standardzie RFC 9309. Konwencja dała właścicielom witryn wspólny sposób przekazywania robotom instrukcji pobierania stron. Standard określa, jak odczytywać plik i dopasowywać reguły.

RFC 9309 ujednolica interpretację instrukcji, ale nie czyni z nich zabezpieczenia serwerowego. Ograniczenie działa tylko wtedy, gdy robot je respektuje.

Prywatne pliki: dlaczego blokada robotów nie zastępuje kontroli dostępu

Robots.txt jest publiczny, dlatego nie chroni prywatnych plików; część robotów może też ignorować jego dyrektywy. [4] Wpisanie ścieżki dokumentu nie odbiera dostępu osobie, która zna jego adres [3].

Instrukcja dla robota nie zastępuje ochrony prywatnego zasobu.

Czy plik robots.txt chroni prywatne zasoby przed dostępem?

Robots.txt przekazuje robotowi instrukcję. Kontrola dostępu na serwerze działa inaczej: sprawdza uprawnienia, zanim udostępni zasób.

Tabela porównuje adresatów obu mechanizmów, sposób ich działania i przydatność do ochrony prywatnych plików.

Kryterium	Robots.txt	Kontrola dostępu na serwerze
Adresat	Robot czytający instrukcje	Każdy podmiot żądający zasobu
Sposób działania	Wskazuje ścieżki, których robot nie powinien pobierać	Sprawdza uprawnienia przed udostępnieniem pliku
Prywatne pliki	Nie chroni ich przed pobraniem	Pozwala je pobrać wyłącznie uprawnionym podmiotom [3]

Kontrola dostępu na serwerze jest właściwa dla prywatnych zasobów. Robots.txt przekazuje instrukcje robotom, lecz nie zabezpiecza dokumentów.

Dokumentacja i ciekawostki o plikach sterujących robotami

Dokumentacja robots.txt pomaga odróżnić instrukcje dostępu od tekstu przeznaczonego wyłącznie dla czytelnika pliku. Komentarz zaczynający się znakiem # może wyjaśnić powód reguły. Sam nie zmieni jednak dostępu robota.

Nietypowe wpisy i żarty w plikach robots.txt

Żart w robots.txt można zapisać jako komentarz, by robot nie potraktował go jak instrukcji pobierania. Nietypowy wpis nie zacznie działać tylko dlatego, że przypomina dyrektywę i znajduje się w pliku. Jego znaczenie trzeba sprawdzić w dokumentacji robota, którego ma dotyczyć.

Komentarze pomagają ludziom czytającym plik. O dostępie powinny decydować reguły rozpoznawane przez robota.

Jak działa dyrektywa Disallow i dopasowywanie ścieżek?

Disallow wskazuje ścieżkę, której robot z przypisanej grupy nie powinien pobierać. Skutek wpisu sprawdzamy, porównując go z rzeczywistym adresem strony.

• Ustal grupę robota. Odczytaj reguły przypisane do nazwy bota, którego dostęp chcesz sprawdzić.
• Porównaj początek ścieżki. Disallow dopasowuje ścieżkę adresu od początku. Wpis bez końcowego ukośnika może więc objąć adresy o podobnym prefiksie.
• Sprawdź pozostałe pasujące reguły. Gdy pasują Allow i Disallow, wynik zależy od bardziej szczegółowej reguły, nie od miejsca wpisu w pliku.

Wynik dopasowania trzeba sprawdzić dla właściwego robota i rzeczywistego adresu. Zróbmy to, zanim reguła obejmie strony przeznaczone do publikacji.

Pozostałe dyrektywy: User-agent, Allow i inne wpisy

Dyrektywy robots.txt określają, którego robota dotyczą instrukcje i jakie ścieżki może on pobierać. User-agent identyfikuje robota, a Allow i Disallow wyznaczają dostęp w jego grupie [8].

Tabela zestawia wpisy według funkcji, jaką pełnią w pliku robots.txt.

Wpis	Funkcja
User-agent	Wskazuje roboty objęte regułami; znak * oznacza wszystkie roboty. [4]
Allow	Wskazuje zasoby dostępne dla robota. [4]
Disallow	Wskazuje zasoby, do których dostęp ma być ograniczony. [4]

User-Agent w nagłówku żądania HTTP jest deklaracją klienta. Można ją porównać z nazwą w pliku, ale sama nie potwierdza tożsamości robota. Komentarze opisują reguły i nie wpływają na dostęp.

Mapa witryny w pliku: do czego służy wpis Sitemap?

Sitemap wskazuje mapę witryny, która pomaga wyszukiwarce odnaleźć ważne adresy. [4] Nie jest to reguła dostępu: wpis nie pozwoli robotowi pobrać strony zablokowanej w robots.txt. Mapa ułatwia odkrywanie adresów, lecz nie gwarantuje ich indeksowania ani wykorzystania treści w odpowiedziach AI.

Zarządzanie botami: od deklaracji w pliku po kontrolę na serwerze

Zarządzanie botami wymaga zestawienia instrukcji z robots.txt z żądaniami widocznymi na serwerze. Plik opisuje oczekiwane zachowanie robotów. Dzienniki pokazują rzeczywisty crawler traffic, czyli ruch, który generują. Porównując oba źródła, sprawdzimy, czy robot nadal żąda ścieżek objętych regułą.

• Dzienniki serwera pozwalają porównać żądane ścieżki ze stanem sprzed zmiany reguł. Sama nazwa User-Agent w żądaniu nie potwierdza tożsamości bota.
• Kontrola dostępu na serwerze pozwala odrzucać żądania niezależnie od robots.txt. Przed jej włączeniem trzeba potwierdzić tożsamość robota i sprawdzić, czy blokada nie obejmie potrzebnego ruchu.
• Pomiar widoczności obejmuje dostęp robotów do ważnych stron, obecność tych stron w wynikach i cytowania w odpowiedziach AI. Te sygnały oceniajmy oddzielnie od spadku liczby żądań.

Skuteczna kontrola łączy sprawdzanie reguł z obserwacją ruchu i widoczności treści. Bezpłatny audyt widoczności w AI pomoże ustalić, czy obecne ograniczenia odpowiadają celom firmy.

Źródła

1. Robots.txt Introduction and Guide | Google Search Central  |  Documentation  |  Google for Developers — https://developers.google.com/search/docs/crawling-indexing/robots/intro
2. OpenAI, „Overview of OpenAI Crawlers”; RFC 9309, sekcja 2.2. — https://developers.openai.com/api/docs/bots
3. RFC 9309, sekcja 3 „Security Considerations”. — https://www.rfc-editor.org/rfc/rfc9309.html
4. Co to jest robots.txt? Słownik Pojęć | Agencja KS — https://ks.pl/slownik/co-to-jest-robots-txt
5. Anthropic, „Does Anthropic crawl data from the web, and how can site owners block the crawler?”; RFC 9309, sekcja 3. — https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
6. Google — Create and Submit a robots.txt File — https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
7. Google, „Jak Google interpretuje specyfikację pliku robots.txt”. — https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec?hl=pl
8. Google for Developers, „How Google interprets the robots.txt specification”. — https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
9. Google — Google’s common crawlers; OpenAI — Overview of OpenAI Crawlers — https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
10. Do czego służy plik robots.txt? » Pomoc | home.pl — https://pomoc.home.pl/baza-wiedzy/do-czego-sluzy-plik-robots-txt-2
11. Google Search Central, „Plik robots.txt – wprowadzenie i przewodnik”; Search Console Help, „No page information in search results”. — https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=pl
12. Google Search Central, „Blokowanie indeksowania przez wyszukiwarki za pomocą tagu noindex”; Search Console Help, „URL Inspection tool”. — https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=pl