Crawler to robot internetowy, przeznaczony do zbierania informacji o stronach internetowych, w tym danych strukturalnych, kodu, metadanych czy linkowania.
Crawler, a pozycjonowanie stron internetowych
Crawler ma szerokie zastosowanie, a jedną z jego najważniejszych cech, jeśli chodzi o przeznaczenie jest analizowanie stron pod kątem pozycjonowania – SEO.
Googlebot
Crawlery mają szerokie zastosowanie np. mogą zbierać informacje o stronie by ją indeksować – takie zadanie pełni np. Googlebot.
Audyt SEO
Crawlery mogą również zbierać dane dotyczące strony internetowej dla jej właściciela. Zidentyfikują elementy, które należy poprawić lub zoptymalizować. Najpopularniejszym z nich jest Screaming Frog, który umożliwia audyt strony www, pokazując w raporcie następujące sekcje:
- Elementy (external / internal)
- HTML
- JavaScript
- CSS
- Obrazy
- Flash
- Protokoły
- HTTP
- HTTPS
- Response Codes
- All
- Zablokowane przez robots.txt
- Brak odpowiedzi
- 2xx (sukces)
- 3xx (przekierowanie)
- Klient error 4xx
- Serwer error 5xx
- Redirection Javascripts
- URL
- Non ASCII Characters
- Underscores
- Uppercase
- Duplicate
- Parameters
- Over 115 characters
- Tytuły stron
- Wszystkie
- Puste
- Zduplikowane
- Powyżej 60 znaków
- Poniżej 30 znaków
- Powyżej 555 pixels
- Poniżej 200 pixels
- Takie same jak H1
- Zróżnicowane
- Meta opisy (analogicznie rozwijane podkategorie)
- Meta słowa kluczowe
- H1
- H2
- Obrazy
- Kanoniczność
- Paginacje
- Dyrektywy
- Hreflang
- AJAX
- AMP
- Dane strukturalne
- Mapy strony
- Prędkość strony
Crawler daje możliwość szybkiego analizowania stron i podstron w poszukiwaniu błędów i problemów zarówno technicznych, jak i tych związanych z optymalizacją SEO. Ma to znaczenie dla skuteczności pozycjonowania i dobrych efektów. Crawler daje możliwość analizowania znacznej ilości stron w zakresie czynników mających wpływ na SEO, w tym również związanych z planowaniem słów kluczowych.
Za co odpowiadają crawlery w zakresie pozycjonowania i audytu SEO?
Crawlery cechuje możliwość sprawdzania i zapisywania danych strony, a także danych dotyczących serwisów do niej linkujących. Często wykorzystywane są do liczenia znaków w treści i sprawdzania ich pod kątem oryginalności czy stopnia podobieństwa.