Czym jest crawler? Jak wykorzystać go do audytu SEO?

Crawler to robot internetowy, przeznaczony do zbierania informacji o stronach internetowych, w tym danych strukturalnych, kodu, metadanych czy linkowania.

Crawler, a pozycjonowanie stron internetowych

Crawler ma szerokie zastosowanie, a jedną z jego najważniejszych cech, jeśli chodzi o przeznaczenie jest analizowanie stron pod kątem pozycjonowania – SEO.

Googlebot

Crawlery mają szerokie zastosowanie np. mogą zbierać informacje o stronie by ją indeksować – takie zadanie pełni np. Googlebot.

Audyt SEO

Crawlery mogą również zbierać dane dotyczące strony internetowej dla jej właściciela. Zidentyfikują elementy, które należy poprawić lub zoptymalizować. Najpopularniejszym z nich jest Screaming Frog, który umożliwia audyt strony www, pokazując w raporcie następujące sekcje:

  • Elementy (external / internal)
    • HTML
    • JavaScript
    • CSS
    • Obrazy
    • PDF
    • Flash
  • Protokoły
    • HTTP
    • HTTPS
  • Response Codes
    • All
    • Zablokowane przez robots.txt
    • Brak odpowiedzi
    • 2xx (sukces)
    • 3xx (przekierowanie)
    • Klient error 4xx
    • Serwer error 5xx
    • Redirection Javascripts
  • URL
    • Non ASCII Characters
    • Underscores
    • Uppercase
    • Duplicate
    • Parameters
    • Over 115 characters
  • Tytuły stron
    • Wszystkie
    • Puste
    • Zduplikowane
    • Powyżej 60 znaków
    • Poniżej 30 znaków
    • Powyżej 555 pixels
    • Poniżej 200 pixels
    • Takie same jak H1
    • Zróżnicowane
  • Meta opisy (analogicznie rozwijane podkategorie)
  • Meta słowa kluczowe
  • H1
  • H2
  • Obrazy
  • Kanoniczność
  • Paginacje
  • Dyrektywy
  • Hreflang
  • AJAX
  • AMP
  • Dane strukturalne
  • Mapy strony
  • Prędkość strony

Crawler daje możliwość szybkiego analizowania stron i podstron w poszukiwaniu błędów i problemów zarówno technicznych, jak i tych związanych z optymalizacją SEO. Ma to znaczenie dla skuteczności pozycjonowania i dobrych efektów. Crawler daje możliwość analizowania znacznej ilości stron w zakresie czynników mających wpływ na SEO, w tym również związanych z planowaniem słów kluczowych.

Za co odpowiadają crawlery w zakresie pozycjonowania i audytu SEO?

Crawlery cechuje możliwość sprawdzania i zapisywania danych strony, a także danych dotyczących serwisów do niej linkujących. Często wykorzystywane są do liczenia znaków w treści i sprawdzania ich pod kątem oryginalności czy stopnia podobieństwa.


Leave a Comment