Crawler to program, który automatycznie odwiedza strony internetowe, pobiera ich kod i przekazuje zebrane informacje dalej, najczęściej do indeksu wyszukiwarki. Z takich botów korzystają Google i Bing, agregatory treści oraz narzędzia analityczne, a od ich pracy zależy, czy dany adres w ogóle może pojawić się w wynikach. Najbardziej znany przykład to Googlebot, który według dokumentacji Google w większości przypadków nie powinien zaglądać na jedną domenę częściej niż średnio co kilka sekund.
Mechanizm działania robota indeksującego
Crawler zaczyna od listy znanych adresów URL (tzw. seed URL), wchodzi na każdy z nich, pobiera zawartość i dopisuje do kolejki odnośniki znalezione w kodzie. W ten sposób z kilku startowych podstron powstaje mapa całej domeny.
- Odczytuje strukturę HTML i metadane z sekcji head; Googlebot analizuje początkowe 2 MB obsługiwanego formatu i do 64 MB w przypadku PDF
- Rejestruje linki wewnętrzne i zewnętrzne, budując sieć połączeń między podstronami
- Przekazuje pobrane dane do systemów, które je indeksują i oceniają
- Okresowo wraca pod znane adresy, żeby wykryć zmiany treści albo usunięcie zasobu
Przed wejściem do katalogu crawler sprawdza plik robots.txt i znaczniki meta, które ograniczają albo całkowicie blokują dostęp do wybranych ścieżek. Google czyta tylko pierwsze 500 KiB tych reguł, a ich zestaw musi leżeć w głównym folderze domeny.
Zastosowania robotów przeszukujących sieć
Crawlery służą przede wszystkim do zasilania indeksu wyszukiwarek, ale używa się ich także do audytu technicznego i obserwacji rynku.
- Aktualizacja wyników Google po zmianach treści albo publikacji nowych tekstów
- Diagnozowanie błędów technicznych: przekierowań 301 i 302, kodów 404, długiego czasu reakcji serwera
- Audyt SEO w programach takich jak Screaming Frog, Lumar (dawniej DeepCrawl) czy Sitebulb: mapa struktury strony, kontrola nagłówków H1-H6 i linkowania wewnętrznego
- Monitoring konkurencji: nowe produkty, zmiany cen, plan publikacji
Najważniejsze roboty wyszukiwarek
Każdy duży dostawca wyników ma własnego crawlera, którego nazwa pojawia się w logach serwera w polu user-agent przy wizytach.
- Googlebot - robot Google w 2 odmianach, mobilnej i komputerowej; ponieważ Google indeksuje głównie wersję na telefony, większość żądań wysyła ta pierwsza
- Bingbot - bot Microsoftu dla Binga
- DuckDuckBot - crawler wyszukiwarki DuckDuckGo
- YandexBot - bot rosyjskiego Yandeksu
- Baiduspider - crawler chińskiej wyszukiwarki Baidu
Nazwę w polu user-agent łatwo podrobić, dlatego Google zaleca sprawdzenie, czy wizyta pochodzi od Googlebota, odwrotnym zapytaniem DNS o adres IP albo porównaniem IP z opublikowaną listą zakresów.
Metody optymalizacji strony pod kątem robotów
Stronę przygotowuje się dla crawlerów przez przejrzystą nawigację, aktualną mapę XML, przemyślane reguły dostępu i wydajny serwer. Od tych 4 rzeczy zależy, ile adresów bot odwiedzi i jak szybko zmiany trafią do wyników.
Architektura linkowania wewnętrznego
Płaska struktura adresów, logiczne kategorie i stałe linkowanie między podstronami pozwalają crawlerowi znaleźć wszystkie zasoby bez marnowania budżetu indeksowania. Przykład: wpis, do którego prowadzi tylko dziesiąta strona archiwum bloga, bot znajdzie później niż tekst podlinkowany z menu, bo musi przejść 10 kolejnych list. Hiperłącza powinny mieć opisowy anchor (kotwicę), a nie ogólne "kliknij tutaj".
Plik sitemap.xml
Mapa w formacie XML podaje wyszukiwarce listę adresów, a jeden taki dokument może mieć według Google najwyżej 50 000 URL-i i 50 MB po rozpakowaniu. Google ignoruje wartości <priority> i <changefreq>, a znacznik <lastmod> bierze pod uwagę tylko wtedy, gdy jest spójny z rzeczywistą datą istotnej zmiany. Mapa przydaje się zwłaszcza w dużych sklepach, portalach informacyjnych i na stronach z adresami generowanymi przez filtry.
Konfiguracja pliku robots.txt
Reguły "Allow" i "Disallow" określają, które ścieżki crawler może odwiedzać, a które ma pominąć. Blokada katalogów z duplikatami, parametrami filtrów czy zasobami prywatnymi oszczędza budżet indeksowania (crawl budget) na wartościowe podstrony. Disallow wstrzymuje jednak tylko pobieranie: Google może nadal zindeksować taki URL i pokazać go w wyszukiwarce bez opisu, więc do wykluczenia adresu z wyników służy dyrektywa noindex.
Szybkość odpowiedzi serwera
Wolny serwer ogranicza liczbę adresów, które crawler pobierze podczas jednej wizyty. Długi czas do pierwszego bajtu (TTFB), kłopoty z renderowaniem JavaScriptu czy przeciążona maszyna sprawiają, że bot zwalnia albo kończy sesję przed dotarciem do wszystkich URL-i. Optymalizacja wydajności i wybór hostingu z zapasem mocy to podstawa płynnego indeksowania.
Znaczenie dostępności dla robotów w strategii SEO
Adres, do którego crawler nie dotrze, nie trafi do wyników wyszukiwania, bez względu na jakość treści. Analiza logów serwera pokazuje, które podstrony bot pomija i jak często wraca. W Search Console te same informacje daje raport "Statystyki indeksowania" (ikona ustawień usługi), z łączną liczbą żądań, całkowitym rozmiarem pobierania i średnim czasem odpowiedzi. Zestawienie "Indeksowanie stron" wskazuje adresy z błędem 404, przekierowaniem albo tagiem noindex, a przy okazji kontroli zasobów warto sprawdzić też optymalizację obrazów. Dostępność dla crawlerów to warunek wejścia do wyników, a o pozycji decydują potem treść, linki i wygoda dla użytkownika.
