Crawler: czym jest robot wyszukiwarki i jak działa

W tym artykule dowiesz się, czym jest crawler, jak w 7 krokach przechodzi przez stronę i jak sprawdzić, które crawlery naprawdę ją odwiedzają. Crawler to program, który automatycznie pobiera strony internetowe i wyciąga z nich linki do kolejnych adresów. Googlebot sprawdza robots.txt, pobiera do 2 MB HTML, renderuje JavaScript i przekazuje treść do indeksowania.

Limity, tokeny botów i nazwy raportów w artykule są aktualne na październik 2026. Przykłady pochodzą z audytu bynajmniej.pl, który zrobiłem 14.10.2026: crawl Screaming Frog na 441 wewnętrznych URL-ach i dane z Google Search Console.

Crawler w skrócie: definicja i zakres

Crawler (robot indeksujący, bot, pająk, ang. spider) to program, który odwiedza adresy URL, pobiera ich zawartość i dopisuje znalezione linki do kolejki następnych adresów. Według dokumentacji Google Search Central o działaniu wyszukiwarki program pobierający strony dla Google nazywa się Googlebot i jest znany też jako „crawler, robot, bot albo spider”.

Wyszukiwarka Google działa według tej samej dokumentacji w trzech etapach: skanowanie (crawling), indeksowanie i wyświetlanie wyników. Crawler odpowiada tylko za pierwszy etap. Przeskanowanie strony nie oznacza jej indeksacji, a indeksacja nie oznacza pozycji w wynikach.

Crawlery to dziś nie tylko roboty wyszukiwarek. Własne crawlery mają firmy AI (GPTBot, ClaudeBot, PerplexityBot), sklepy porównujące ceny i narzędzia SEO, np. Screaming Frog, który przechodzi stronę tak jak Googlebot, ale na komputerze właściciela strony. Crawler różni się od scrapera celem: crawler odkrywa i pobiera adresy, scraper wyciąga z nich konkretne dane, np. ceny.

Jak działa crawler: 7 kroków na przykładzie Googlebota

Googlebot przechodzi przez każdy adres URL w tej samej kolejności. Kroki opierają się na dokumentacji Google Search Central i wpisie Gary’ego Illyesa z Google z 31.03.2026 o działaniu crawlera:

1. Odkrycie adresu. Nie istnieje centralny rejestr stron, więc Googlebot zbiera adresy z linków na znanych już stronach i z map witryny XML. Algorytm Google decyduje, które witryny skanować, jak często i ile stron z każdej pobrać.
2. Sprawdzenie robots.txt. Przed pobraniem adresu Googlebot czyta reguły z pliku robots.txt. Adres zablokowany regułą Disallow nie zostanie pobrany ani wyrenderowany.
3. Pobranie przez HTTP. Googlebot pobiera pierwsze 2 MB pliku HTML razem z nagłówkami HTTP. Treść za tym limitem nie jest pobierana, renderowana ani indeksowana.
4. Renderowanie. Strona trafia do kolejki renderowania, gdzie Web Rendering Service uruchamia JavaScript w aktualnej wersji Chrome. Kolejka trwa według Google „kilka sekund, ale może trwać dłużej”.
5. Wyciągnięcie linków. Googlebot dopisuje do kolejki adresy z wyrenderowanej strony, ale tylko z elementów <a> z atrybutem href. Przycisk z JavaScriptem bez href nie jest dla Googlebota linkiem.
6. Przekazanie do indeksowania. Pobrana i wyrenderowana treść idzie do systemów indeksujących, które oceniają, czy strona trafi do indeksu.
7. Powrót. Googlebot wraca do znanych adresów, żeby wykryć zmiany. Raport Statystyki indeksowania w Google Search Console dzieli żądania na wykrycie (nowe adresy) i odświeżenie (adresy znane).

Googlebot nie przechodzi przez strony zablokowane w robots.txt i strony dostępne dopiero po zalogowaniu. Dokumentacja Google wprost zaznacza też, że Googlebot nie skanuje wszystkich stron, które odkrył. Kiedy liczba adresów do skanowania zaczyna przerastać możliwości serwera, wchodzi temat crawl budgetu, czyli limitu adresów, które Google może i chce przeskanować.

Limity crawlerów Google w liczbach

Limity crawlerów Google są opisane w kilku dokumentach Google Search Central. Zebrane w jednym miejscu wyglądają tak (stan na październik 2026):

Limit 2 MB nie jest nowością, tylko nowym zapisem w dokumentacji. Według dokumentacji Googlebota (aktualizacja 3.02.2026) Googlebot przetwarza pierwsze 2 MB obsługiwanego pliku, a wcześniejsza wersja dokumentu podawała 15 MB. Gary Illyes napisał w poście na blogu Google Search Central z 31.03.2026, że Googlebot nie odrzuca większej strony, tylko przerywa pobieranie na limicie, a sam limit „nie jest wyryty w kamieniu”.

Strona bynajmniej.pl sprawdzona testerem 14.10.2026 ma HTML o rozmiarze 116 KB i czas do pierwszego bajtu (TTFB) około 190 ms, a cała treść jest w HTML bez JavaScriptu. Limit 2 MB dotyczy więc w praktyce stron z ogromnym inline’owym kodem, np. sklepów z danymi produktów wklejonymi w HTML, a nie typowego bloga.

Rodzaje crawlerów Google i ich tokeny

Googlebot to nie jeden program. Gary Illyes opisuje go jako jednego z klientów wspólnej platformy crawlującej Google, z której korzystają też Google Shopping i AdSense pod innymi nazwami. Przegląd crawlerów Google dzieli je na trzy grupy:

• Zwykłe crawlery (common crawlers), np. Googlebot, zawsze respektują robots.txt przy automatycznym skanowaniu.
• Crawlery specjalne (special-case), np. AdsBot, działają na podstawie umowy z właścicielem strony. AdsBot ignoruje ogólną regułę User-agent: *.
• Fetchery uruchamiane przez użytkownika (user-triggered fetchers), np. Google Site Verifier, pobierają stronę, gdy użytkownik o to poprosi.

Najważniejsze zwykłe crawlery Google według listy common crawlers (aktualizacja 14.07.2026):

Googlebot Smartphone i Googlebot Desktop używają tego samego tokenu Googlebot, więc robots.txt nie zablokuje jednego bez drugiego. Według dokumentacji Googlebota większość żądań wysyła crawler mobilny. Token Google-Extended według dokumentacji Google „nie wpływa na obecność witryny w wyszukiwarce Google i nie jest sygnałem rankingowym”.

Crawlery AI: GPTBot, ClaudeBot, PerplexityBot

Firmy AI rozdzielają crawlery na trzy role: zbieranie danych do trenowania modeli, budowanie indeksu wyszukiwarki AI i pobieranie stron na żądanie użytkownika. Rola decyduje o tym, co daje zablokowanie bota w robots.txt:

Ustawienia botów OpenAI są niezależne: według dokumentacji botów OpenAI można wpuścić OAI-SearchBot do wyszukiwarki ChatGPT i jednocześnie zablokować GPTBota, żeby treść nie trafiała do trenowania. OpenAI i Perplexity podają, że zmiana w robots.txt zaczyna działać po około 24 godzinach. Anthropic zaznacza, że blokowanie ClaudeBota po adresach IP może nie działać trwale, i zaleca robots.txt.

Skalę ruchu pokazuje raport Cloudflare Radar 2025 Year in Review (dane od 1.01 do 2.12.2025). Googlebot odpowiadał za 4,5% żądań HTML w sieci Cloudflare, a wszystkie boty AI razem za 4,2%. Wskaźnik crawl-to-refer, czyli liczba pobrań na jedno przekierowanie użytkownika na stronę, wynosił dla Google od 3:1 do 30:1, dla OpenAI do 3700:1 w marcu, a dla Anthropic od 25 000:1 do 100 000:1 po maju.

Moja rekomendacja dla bloga i strony firmowej: nie blokować botów wyszukiwarek AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot), bo blokada usuwa stronę z odpowiedzi, w których mogłaby być cytowana. Decyzja o botach trenujących (GPTBot, ClaudeBot, Google-Extended) to osobna sprawa i zależy od tego, czy chcesz oddawać treść do trenowania modeli. Na bynajmniej.pl robots.txt generowany przez Yoast SEO nie blokuje żadnego bota, a test z podszytym user agentem z 14.10.2026 pokazał, że GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot i Bingbot dostają pełną treść. Test z podszytym user agentem jest orientacyjny i nie pokazuje realnych wizyt botów.

Jak sprawdzić, czy na stronę wchodzi prawdziwy Googlebot

Nagłówek user agent „Googlebot” można podrobić w każdym skrypcie, co dokumentacja Googlebota nazywa wprost: user agent jest „często fałszowany”. Według instrukcji weryfikacji żądań Google prawdziwego Googlebota sprawdzisz w 4 krokach:

1. Weź adres IP z logów serwera i wykonaj odwrotne zapytanie DNS: host <IP z logów>.
2. Sprawdź, czy zwrócona domena kończy się na googlebot.com, google.com albo googleusercontent.com.
3. Wykonaj zwykłe zapytanie DNS na zwróconą nazwę hosta: host <nazwa hosta>.
4. Porównaj wynik z adresem IP z logów. Zgodny adres oznacza prawdziwego Googlebota.

Przy dużym ruchu ręczne zapytania DNS są niewygodne, więc Google publikuje zakresy IP w plikach JSON: common-crawlers.json dla Googlebota i innych zwykłych crawlerów, special-crawlers.json dla crawlerów specjalnych i user-triggered-fetchers.json dla fetcherów uruchamianych przez użytkownika. Firewall albo skrypt analizy logów może porównywać adres IP z tymi listami automatycznie.

Gdzie zobaczyć, co crawler robi na stronie

Pracę Googlebota na własnej stronie widać w trzech miejscach, od najprostszego do najdokładniejszego:

• Raport Statystyki indeksowania w Google Search Console (Ustawienia → Statystyki indeksowania) pokazuje łączną liczbę żądań, łączny rozmiar pobranych danych, średni czas odpowiedzi, stan hosta za 90 dni oraz podział według kodu odpowiedzi, typu pliku, celu (wykrycie albo odświeżenie) i typu Googlebota. Pomoc Google zaznacza, że raport jest dla zaawansowanych, a witryny poniżej 1000 stron zwykle go nie potrzebują.
• Narzędzie do sprawdzania adresów URL w Google Search Console podaje datę ostatniego skanowania pojedynczego adresu i to, czy Google go zna. Opis tego narzędzia jest w poradniku jak korzystać z Google Search Console.
• Logi serwera zapisują każde żądanie z adresem IP, user agentem i kodem odpowiedzi, więc tylko w logach widać wizyty botów AI, których Google Search Console nie pokazuje.

Crawler SEO, np. Screaming Frog, pokazuje stronę oczami robota, zanim zrobi to Googlebot. Crawl bynajmniej.pl z 14.10.2026 znalazł 186 wewnętrznych przekierowań 3xx (61 z nich to łańcuchy dwóch i więcej skoków), 60 adresów z błędem 4xx i 10 adresów odpowiadających dłużej niż 1000 ms, głównie archiwa tagów i kategorii. Każde takie przekierowanie i każdy błąd to żądanie, na które Googlebot traci czas bez nowej treści. W Google Search Console adres /windows-live-writer/ ze sitemapy bynajmniej.pl miał status „Adres URL jest Google nieznany”, czyli Googlebot jeszcze go nie odwiedził. Cały przebieg tego crawla opisałem w poradniku jak zrobić audyt SEO.

Jak sterować crawlerem i czego nie robić

Właściciel strony ma cztery narzędzia sterowania crawlerem Google: robots.txt (co skanować), mapę witryny XML (co warto odkryć), linki wewnętrzne (którędy iść) i kody odpowiedzi HTTP (kiedy zwolnić). Według specyfikacji robots.txt Google (aktualizacja 31.08.2026) Google obsługuje w robots.txt tylko pola user-agent, allow, disallow i sitemap.

Mity o crawlerach, których nie warto powtarzać:

• „Crawl-delay spowolni Googlebota”. Specyfikacja robots.txt Google mówi, że pole crawl-delay nie jest obsługiwane. Anthropic za to deklaruje obsługę Crawl-delay dla ClaudeBota, więc ta sama linijka w robots.txt hamuje bota AI, a Googlebota nie obchodzi wcale. Standard branżowy w pełnej krasie.
• „Disallow usunie stronę z Google”. Wprowadzenie do robots.txt w dokumentacji Google mówi, że robots.txt „nie jest mechanizmem utrzymywania strony poza Google”. Zablokowany adres może trafić do wyników, jeśli linkują do niego inne strony, a do wykluczenia strony z indeksu Google zaleca tag noindex.
• „Długie błędy 503 bezpiecznie przyhamują crawl”. Dokumentacja Google o zmniejszaniu częstotliwości skanowania (aktualizacja 6.10.2026) dopuszcza kody 500, 503 i 429 na „kilka godzin albo 1–2 dni”. Dłużej adres może wypaść z indeksu, a o szybsze skanowanie nie da się Google poprosić.
• „Brak robots.txt to błąd”. Kod 404 dla robots.txt Google traktuje jak brak ograniczeń. Problemem jest kod 5xx: Google wstrzymuje wtedy skanowanie na 12 godzin, a potem do 30 dni korzysta z ostatniej poprawnej kopii pliku.

Google nie występuje na liście wyszukiwarek protokołu IndexNow. Według FAQ IndexNow protokół przyjmuje do 10 000 adresów w jednym żądaniu POST i przekazuje je m.in. do Bing, Yandex, Seznam.cz i Naver. Dla Googlebota zostają mapa witryny XML i linki.

FAQ: najczęstsze pytania o crawlery

Czym różni się crawler od indeksowania?

Crawler pobiera stronę, a indeksowanie to osobny etap, w którym Google analizuje pobraną treść i decyduje, czy zapisać ją w indeksie. Przeskanowana strona może nie trafić do indeksu, co Google Search Console pokazuje jako „Strona zeskanowana, ale jeszcze niezindeksowana”.

Jak często Googlebot odwiedza stronę?

Googlebot według dokumentacji Google odwiedza witrynę średnio nie częściej niż raz na kilka sekund, a częstotliwość dla konkretnej strony wyznacza algorytm. Dokładną liczbę żądań dziennie pokazuje raport Statystyki indeksowania w Google Search Console.

Czy crawler Google widzi treść generowaną przez JavaScript?

Googlebot renderuje JavaScript w aktualnej wersji Chrome, ale strona czeka na renderowanie w kolejce. Linki generowane przez JavaScript Googlebot odczyta tylko wtedy, gdy są elementami <a> z atrybutem href.

Jak zablokować crawlery AI w robots.txt?

Crawler AI blokuje się regułą User-agent: GPTBot (albo ClaudeBot, PerplexityBot) i linią Disallow: /. Fetchery uruchamiane przez użytkownika, np. ChatGPT-User i Perplexity-User, według ich dokumentacji mogą nie respektować robots.txt.

Czy można przyspieszyć crawlowanie strony przez Google?

Google nie przyjmuje próśb o wyższą częstotliwość skanowania. Crawl przyspieszają szybki serwer, aktualna mapa witryny XML, linki wewnętrzne do nowych stron i brak łańcuchów przekierowań.

Co to jest Screaming Frog i czy jest crawlerem?

Screaming Frog SEO Spider to crawler uruchamiany na własnym komputerze, który przechodzi stronę po linkach jak robot wyszukiwarki. Crawl ze Screaming Froga pokazuje błędy 4xx, przekierowania i wolne adresy, zanim natrafi na nie Googlebot.

Paweł Zinkiewicz

Członek zarządu i współwłaściciel agencji IF.PL, w SEO od ponad 20 lat (m.in. Gazeta.pl, Wirtualna Polska, Polska Press). Na bynajmniej.pl piszę z pomocą AI: temat, dane i testy są moje, AI pomaga ubrać to w słowa.