Crawling — jak roboty wyszukiwarek odkrywają i pobierają strony

Crawling zaczyna się od adresu URL: robot wyszukiwarki musi go odkryć, a potem pobrać zawartość strony do dalszego przetwarzania. Skąd bierze adresy i co może mu przeszkodzić? W artykule wyjaśniamy też, jak sprawdzać wizyty robota i unikać przypadkowych blokad. Jedna mapa witryny może zawierać maksymalnie 50 000 adresów URL [1].

Czym jest crawling i dlaczego nie oznacza jeszcze widoczności strony?

Podczas crawlowania robot odwiedza adres URL i pobiera zawartość strony.
Na tym jego zadanie się nie kończy. Samo pobranie nie oznacza, że wyszukiwarka umieści stronę w indeksie lub pokaże ją w wynikach. Odpowiedź HTTP 200 oznacza udane pobranie, ale nie gwarantuje, że Google zindeksuje stronę [2].

Indeksowanie polega na analizie pobranej zawartości i decyzji, czy strona trafi do indeksu. Widoczność oznacza z kolei jej pojawienie się w wynikach dla określonych zapytań.
Warto sprawdzać te etapy osobno: czy robot dotarł do strony, czy wyszukiwarka ją uwzględniła i czy pokazuje ją użytkownikom. W raporcie skuteczności Google Search Console można sprawdzać wyświetlenia i zapytania z ostatnich 16 miesięcy [3].

Crawling pozostaje ważny także po publikacji. Kiedy zmieniasz treść, robot musi ponownie pobrać adres, zanim wyszukiwarka przetworzy nową wersję strony. Późna wizyta może więc opóźnić uwzględnienie zmian. Data ostatniego skanowania w narzędziu do sprawdzania adresów URL pomaga ustalić, czy Google odwiedził stronę po zmianie treści [4].

W praktyce sprawdzaj osobno pobranie strony, jej indeksowanie i widoczność w wynikach.

Jak ograniczony crawling może opóźniać pojawienie się strony w wyszukiwarce?

Ograniczony crawling opóźnia pobranie nowej lub zmienionej strony. Dopóki robot jej nie pobierze, wyszukiwarka nie przeanalizuje aktualnej zawartości. Przy diagnozie trzeba więc odróżnić brak wizyty od decyzji o indeksowaniu. Odpowiedzi HTTP 503 i 429 mogą skłonić Googlebota do tymczasowego ograniczenia tempa pobierania [2].

• Wizyta robota pokazuje, czy wyszukiwarka pobrała adres po publikacji lub zmianie treści. Jeśli wizyty nie było, sprawdź, czy robot ma dostęp do strony.
• Odpowiedź serwera pokazuje, czy robot otrzymał zawartość strony, czy napotkał błąd. Błąd pobierania uniemożliwia analizę aktualnej wersji.
• Status indeksowania pomaga odróżnić stronę jeszcze niepobraną od pobranej, której wyszukiwarka nie dodała do indeksu. Zapis wizyty robota nie potwierdza widoczności.

Oddzielna kontrola każdego etapu pomaga ustalić, gdzie zatrzymało się przetwarzanie strony. Wizyta robota i obecność strony w wynikach to różne ustalenia.

Co oznacza crawling i czym różni się od indeksowania?

Crawling i indeksowanie odpowiadają na inne pytania. Robot może pobrać adres, którego wyszukiwarka nie doda do indeksu. Nawet zaindeksowana strona nie musi pojawić się na konkretne zapytanie. Przykładowo Googlebot może pobrać stronę zwracającą HTTP 200, lecz dyrektywa noindex uniemożliwi jej indeksowanie [5].

Tabela pokazuje, co trzeba ustalić na każdym etapie diagnozy.

Etap	Pytanie diagnostyczne	Czego etap nie potwierdza
Crawling	Czy robot dotarł do strony i pobrał jej zawartość?	Decyzji o dodaniu treści do indeksu
Indeksowanie	Czy wyszukiwarka uwzględniła treść strony?	Pojawienia się strony na konkretne zapytanie

To rozróżnienie pomaga szukać przyczyny braku widoczności. Nie trzeba wtedy traktować każdej wizyty robota jak potwierdzenia obecności strony w wynikach. Krótko mówiąc: pobranie, indeksowanie i widoczność to kolejne, lecz odrębne etapy.

Czym jest proces odkrywania i pobierania stron przez roboty wyszukiwarek?

Odkrywanie i pobieranie stron przebiega w kilku krokach: robot znajduje adres URL, wysyła żądanie i odbiera odpowiedź serwera. Adres poznaje między innymi z linków oraz mapy witryny. Sama znajomość URL nie potwierdza jednak wizyty.
Odpowiedź HTTP 200 potwierdza, że serwer zwrócił robotowi zawartość strony; samo odkrycie adresu URL tego nie potwierdza [2].

Pobranie strony wymaga odpowiedzi serwera i dostępu do potrzebnej zawartości. Właściciel witryny powinien sprawdzić zarówno drogi prowadzące do adresu, jak i zapis faktycznego żądania. Osobnej kontroli wymagają reguły w robots.txt. Google przetwarza plik robots.txt do rozmiaru 500 KiB, ignorując treść przekraczającą ten limit [6].

Jak robot odkrywa adres URL i pobiera zawartość strony?

Robot wyszukiwarki znajduje adres URL w dostępnych odnośnikach lub mapie witryny. Następnie wysyła żądanie do serwera. Źródło adresu i odpowiedź serwera pomagają odtworzyć przebieg wizyty. Jedna mapa witryny może mieć maksymalnie 50 MB w postaci nieskompresowanej [1].

• Link wewnętrzny prowadzi robota z odwiedzonej strony pod kolejny adres. Powinien wskazywać właściwy URL, a nie tylko uruchamiać działanie widoczne dla użytkownika.
• Mapa witryny podaje wyszukiwarce adresy do odkrycia. Obecność adresu w mapie nie oznacza, że robot już go odwiedził.
• Żądanie do serwera pozwala robotowi odebrać odpowiedź dla danego adresu. Przekierowanie prowadzi go pod inny URL, a błąd serwera przerywa pobieranie.
• Zasoby strony, takie jak skrypty i arkusze stylów, wpływają na odczyt treści wymagającej renderowania. Odpowiedź z dokumentem HTML nie dowodzi, że robot zobaczył elementy dodane później przez skrypt.

Po udanym pobraniu robot ma dostęp do zawartości zwróconej przez serwer. Nie oznacza to jeszcze, że wyszukiwarka ją zindeksuje.
Odpowiedź HTTP 200 jest przykładem udanego pobrania, ale nie przesądza o umieszczeniu strony w indeksie [2].

Dlaczego robot może nie odwiedzić strony lub nie pobrać jej zawartości?

Robot może nie pobrać strony, jeśli nie odkrył jej adresu, nie ma dostępu lub nie otrzymał użytecznej odpowiedzi. Bez linków prowadzących do strony i wpisu w mapie witryny traci te drogi odkrycia. Treść wymagająca logowania pozostaje dla niego niedostępna bez uprawnień. Odpowiedź HTTP 401 wskazuje na brak autoryzacji, na przykład gdy dostęp do treści wymaga zalogowania [7].

Błędy serwera uniemożliwiają pobranie treści, nawet gdy robot zna adres. Przy przekierowaniu trzeba sprawdzić URL docelowy, zamiast zakładać, że robot pobrał treść pod pierwotnym adresem. Blokada dostępu dla robota wymaga kontroli reguł dla strony i zasobów potrzebnych do jej wyświetlenia.
Googlebot zwykle śledzi do 10 kolejnych przekierowań; dłuższy łańcuch może zakończyć się błędem przekierowania [2].

Przyczyny problemu szukaj w danych o odkryciu adresu, dostępie robota i odpowiedzi serwera. Sam brak strony w wynikach nie mówi, co zawiodło. Raport statystyk indeksowania pokazuje żądania robota i odpowiedzi serwera oraz pozwala sprawdzić dostępność hosta z ostatnich 90 dni [7].

Jak sprawdzić, czy robot pobiera konkretną stronę?

Pobranie konkretnego URL można sprawdzić przez inspekcję adresu w Google Search Console. Logi serwera pozwalają z kolei potwierdzić rzeczywiste żądanie. W obu przypadkach kontroluj dokładnie tę wersję adresu, którą robot ma odwiedzać.

• Inspekcja adresu URL pokazuje informacje Google o wskazanym adresie, także o jego pobieraniu. Odróżnij dane o wersji znanej Google od wyniku bieżącego testu.
• Test wersji opublikowanej sprawdza, czy strona jest teraz dostępna. Pomyślny wynik nie potwierdza wcześniejszego pobrania przez robota.
• Log serwera zapisuje żądanie skierowane do witryny. Wpis dotyczący badanego URL pozwala sprawdzić czas wizyty i odpowiedź serwera.

Możliwość odwiedzenia strony teraz to nie to samo co zapis rzeczywistej wizyty robota. Dzięki temu rozróżnieniu nie pomylisz udanego testu z wcześniejszym pobraniem.

Jak ustalić na podstawie logów serwera, które adresy odwiedza robot?

Logi serwera pokazują odwiedzane adresy, gdy odfiltrujesz żądania robota i odczytasz ścieżki URL oraz odpowiedzi serwera. Sam identyfikator robota nie potwierdza jednak jego tożsamości. Nadawca żądania może go podrobić.

• Wpis żądania powinien zawierać czas, żądany adres, adres IP, identyfikator klienta i odpowiedź serwera. Te pola pozwalają powiązać wizytę z konkretnym URL i jej wynikiem.
• Identyfikacja robota wymaga weryfikacji adresu IP metodą podawaną przez operatora wyszukiwarki. Filtrowanie tylko po identyfikatorze klienta może przypisać robotowi cudze żądania.
• Analiza adresów powinna rozdzielać strony, zasoby i adresy docelowe przekierowań. Wtedy żądanie arkusza stylów nie zostanie uznane za pobranie strony.
• Analiza odpowiedzi pokazuje, czy serwer zwrócił treść, przekierowanie czy błąd. Log dokumentuje odpowiedź serwera, lecz nie decyzję wyszukiwarki o indeksowaniu.

Zestaw zweryfikowane wizyty robota z odpowiedziami serwera. Ustalisz, których adresów robot rzeczywiście zażądał i czy serwer udostępnił mu ich zawartość.

Ocenę crawlowania oprzyj na danych o odkryciu adresu i pobraniu treści. Samo istnienie strony w witrynie nie wystarczy. W skrócie: linki i mapy pomagają znaleźć adres, a logi potwierdzają żądanie robota.

Jak skonfigurować robots.txt, by nie blokować crawlingu ważnych stron i zasobów?

Plik robots.txt w katalogu głównym hosta określa reguły dostępu dla robotów, które go respektują. Zanim zmienisz konfigurację, sprawdź, czy robot nadal może pobrać ważne strony i zasoby potrzebne do odczytania ich treści. Reguła Disallow wskazuje ścieżkę wyłączoną z pobierania. Dyrektywa User-agent określa, którego robota dotyczy grupa reguł.

• Właściwy plik robots.txt sprawdź dla hosta, na którym znajdują się ważne strony. Reguły innego hosta nie rozstrzygają o dostępie do badanych adresów.
• Ścieżki objęte regułami Disallow porównaj z adresami, które robot powinien pobierać. Uważaj zwłaszcza na reguły obejmujące całe katalogi, jeśli zawierają potrzebną stronę.
• Regułę blokującą ważną stronę usuń lub zawęź, zamiast bez potrzeby otwierać cały katalog. Sprawdź też dostęp do skryptów i arkuszy stylów potrzebnych do wyświetlenia treści.
• Test dostępu po zmianie powinien objąć ważną stronę, jej zasoby i adres, który nadal ma być zablokowany. Potem sprawdź w logach, czy robot zażądał dostępnych stron.

Tabela zestawia rodzaje adresów, cel dostępu robota i kontrolę potrzebną przed zmianą reguł.

Rodzaj adresu	Cel dostępu robota	Co sprawdzić w robots.txt
Ważna strona	Pobranie treści strony	Czy żadna pasująca reguła nie blokuje adresu
Skrypt lub arkusz stylów potrzebny do wyświetlenia treści	Dostęp do zasobu strony	Czy reguła nie blokuje ścieżki zasobu
Obszar wymagający ochrony dostępu	Kontrola przez uwierzytelnianie	Czy dostęp nie opiera się wyłącznie na robots.txt

Robots.txt nie chroni poufnych danych. Może zablokować pobieranie robotom, które przestrzegają reguł, ale nie zastąpi uwierzytelniania.
Blokada adresu utrudnia też odczytanie dyrektywy noindex umieszczonej na stronie, bo robot jej wtedy nie pobiera.

Poprawne reguły pozwalają robotowi pobrać ważną treść, nie otwierając obszarów wymagających osobnej kontroli dostępu [8].

Sprawdź więc dostęp do potrzebnych stron i zasobów. Poufne treści chroń odrębnym mechanizmem.

Ograniczenia crawlowania mogą wpływać na dostępność witryny dla wyszukiwarek i systemów AI. Jeśli chcesz sprawdzić ich wpływ na Twoją witrynę, skontaktuj się z nami w sprawie bezpłatnego audytu widoczności w AI.

Najczęściej zadawane pytania

Jakie są maksymalne limity jednej mapy witryny?

Może zawierać maksymalnie 50 000 adresów URL i mieć do 50 MB w postaci nieskompresowanej.

Co się dzieje, gdy plik robots.txt przekracza limit przetwarzania Google?

Google przetwarza plik do rozmiaru 500 KiB, a jego nadmiarową część ignoruje.

Co może się stać przy długim łańcuchu przekierowań?

Googlebot zwykle śledzi do 10 kolejnych przekierowań; dłuższy łańcuch może zakończyć się błędem przekierowania.

Czy ograniczenia crawlowania mogą wpływać na dostępność witryny dla systemów AI?

Tak. Ograniczenia crawlowania mogą wpływać na dostępność witryny zarówno dla wyszukiwarek, jak i systemów AI.

Źródła

1. Google Search Central – Build and Submit a Sitemap — https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
2. Google Crawling Infrastructure – How HTTP Status Codes Affect Google’s Crawlers — https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
3. Google Search Central – Debug Google Search Traffic Drops — https://developers.google.com/search/docs/monitor-debug/debugging-search-traffic-drops
4. Google Search Console – Inspect and troubleshoot a single page — https://support.google.com/webmasters/answer/12482179?hl=en
5. Google Search Central – Understand JavaScript SEO Basics — https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
6. Google Crawling Infrastructure – How Google Interprets the robots.txt Specification — https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
7. Google Search Console – Crawl Stats report — https://support.google.com/webmasters/answer/9679690?hl=en
8. Google Search Central, „Introduction to robots.txt” — https://developers.google.com/search/docs/crawling-indexing/robots/intro