Pająk, pełzacz- czym są crawlery?

Terminologia zoologiczna na dobre zakorzeniła się w branży technologicznej, używana jest do opisu sformułowań i elementów z nią związanych. Zapewne każdy z nas słyszał o robaku komputerowym lub wirusie – w ten bowiem sposób nazwano niebezpieczne dla naszego komputera oprogramowanie. Z kolei w digital marketingu i SEO mamy do czynienia z jeszcze jednym określeniem, który swoją nazwę również zawdzięcza zwierzęciu.

Crawler czy też spider w wolnym tłumaczeniu oznacza pełzacza bądź pająka. Co jednak kryje się pod tą nazwą? Crawler to nic innego jak rodzaj bota, który pozwala wychwycić odpowiednie dane zawarte na witrynie internetowej. Swoją nazwę zawdzięcza temu, że niczym pająk sprawnie porusza się po sieci. Najpopularniejsze pełzacze są wprowadzone przez kalifornijską markę Google, gdyż to ich wyszukiwarka jest najpopularniejsza na świecie. Do ich głównego zadania należy indeksowanie stron internetowych.

Crawlery umożliwiają nam, zobaczenie witryny od strony technicznej w taki sposób jak postrzegają ją algorytmy. Z tego powodu strona w ich wydaniu to tylko zbiór danych.

Roboty Google i inne crawlery nie widzą np. obrazów zamieszczonych na stronie, dlatego tak ważne jest ich opisanie. Przede wszystkim, aby strona była dla nich bardziej przejrzysta należy skupić się na odpowiednim dopasowaniu treści. Botów nie interesuje, w jaki sposób tekst został sformatowany, tylko czy jest przejrzysty i zawiera słowa kluczowe.

Boty bardzo często są wykorzystywane podczas przeprowadzania audytów SEO.

Istnieje kilka rodzajów crawlerów:

• Sitebulb;
• Semrush;
• OpenSearchServer;
• Scrapy;
• Screaming Frog.

Zajmiemy się opisanie dwóch wybranych, czyli crawlera Screaming Frog Seo Spider Tool oraz Sitebulb.

Screaming Frog

Screaming Frog SEO Spider Tool to rodzaj crawlera, który cechuje się przede wszystkim swoją przejrzystością i łatwością w obsłudze. Można go połączyć z innymi narzędziami służącymi do śledzenia ruchu w internecie, mowa tu o Google Analytics czy Google Search Console.

Crawler ten może być obsługiwany za pomocą urządzeń z systemem Windows, Mac i Ubuntu. Nie ma znaczenia, jakiej wielkości stronę chcemy przeanalizować, czy jest to strona lokalnego biznesu, czy ogromny serwis znanego przedsiębiorstwa. Narzędzie to jest nieodłącznym towarzyszem osób, które zajmują się pozycjonowaniem treści w internecie. Pozwala on na zauważenie błędów na stronie takich jak: zduplikowany kontent, źle dobrane nagłówki czy niedziałające linki.

Ten crawler mierzy jeszcze jedną ważną rzecz, a mianowicie czas odpowiedzi. Response Time to nic innego jak okres, podczas którego wczytuje się dana witryna. Zbyt długi czas oczekiwania może sprawić, że niecierpliwi użytkownicy zrezygnują z wejścia na daną domenę.

Zindeksowane dane Screaming Frog umieszcza w przejrzystej tabeli Excel, do której możemy eksportować całą przeskanowaną zawartość strony. Dzięki temu crawlerowi możliwe jest również stworzenie sitemapy XML. Co szczególnie przydaje się do indeksowania większych stron posiadających dużo podstron.

Istnieje opcja darmowa tego crawlera, która umożliwia przeskanowanie 500 losowych adresów URL na danej stronie. Aby jednak w pełni korzystać z jego możliwości istnieje opcja wykupienia abonamentu. Osoby, które zdecydują się na dany zakup, otrzymają wersję, która nie ma ograniczenia co do ilości skanowanych adresów.

Sitebulb

Jest to crawler, który działa na systemach Windows i Mac. Inaczej niż w przypadku Screaming Frog, ten crawler oferowany jest tylko za odpowiednią opłatą. Nowi użytkownicy mogą jednak liczyć na 14-dniowy okres próbny. Po jego zakończeniu należy wybrać opcję Lite lub Pro.

Różnią się one między sobą maksymalną liczbą adresów URL, jak i ilością proponowanych przez crawlera podpowiedzi. Pobrane dane w przypadku obu wariantów, możemy otrzymać w postaci pliku PDF, jednak wersja bogatsza umożliwia usunięcie loga Sitebulb z pliku. Wersja Pro ponadto oferuje dodatkowe możliwości takie jak: porównanie dwóch audytów jednocześnie, przeprowadzenie audytu ze stron napisanych w różnym języku czy też analizę stron biorąc pod uwagę ruch generowany przez urządzenia mobilne.

Rola crawlerów w SEO

Bez crawlerów ciężko wyobrazić sobie wygląd audytów SEO w obecnych czasach. Bez nich ciężko jest zauważyć dane, które nie są widoczne na pierwszy rzut oka.

Pozwalają one zaoszczędzić czas i usprawnić pracę, niż gdyby miało to miejsce przy manualnym przeglądaniu treści strony. Dzięki ich pomocy możemy poinstruować boty Google, aby te mogły odnaleźć nas w internecie. Chcąc jak najlepiej zoptymalizować stronę pod kątem SEO, crawlery powinny stać się naszym najlepszym sprzymierzeńcem.

Nasza firma idealnie porusza się po terytorium SEO i analizy danych. Korzystamy z różnego rodzaju crawlerów, które pomagają nam w pozycjonowaniu stron. Nie musisz więc samodzielnie ich wykupywać, gdyż oferujemy pełną pomoc w oparciu o te narzędzia.