Crawl budget to pojęcie z obszaru technicznego SEO. Inaczej jest on znany jako budżet indeksowania, chociaż z finansami nie ma nic wspólnego. Jest to liczba stron, które wyszukiwarki będą indeksować w witrynie w określonym przedziale czasowym. Crawl budget jest określany na podstawie limitu indeksowania. Roboty Google pobierają listę adresów URL, jakie mają być indeksowane. Lista tych adresów przemierzana jest systematycznie. Odwiedzany jest też od czasu do czasu plik robots.txt, który wskazuje, które adresy mają być indeksowane, a które pominięte w tym procesie.
Indeksowanie adresów URL
O crawl budget nie trzeba się martwić. Należy wziąć pod uwagę, że obecnie proces indeksowania stron internetowych trwa dłużej, niż w ubiegłych latach. Nowe strony lub witryny rzadko aktualizowane, nie są często indeksowane. Roboty Google mają określoną ilość czasu i zasoby, jakie mogą poświęcić na indeksowanie pojedynczej witryny. Każda wyszukiwarka ma ograniczone zasoby, co powoduje, że ich uwaga musi być podzielona na miliony stron internetowych. Niezbędne jest więc ustalenie priorytetów podczas procesu indeksowania. I tu właśnie z pomocą przychodzi crawl budget, czyli przypisanie budżetu indeksowania do każdej strony internetowej. Budżet indeksowania jest niezwykle istotny, gdyż pozwala zapobiegać przeciążeniu serwera WWW żądaniami. Częste zgłaszanie witryny w celu przyspieszenia indeksowania nie będzie pomocne. Najważniejsze jest systematyczne wzbogacanie witryny przydatnymi dla odbiorcy treściami, co zwiększy ilość zapytań. Tym samym naturalnie zachęci się roboty do częstszych odwiedzin. Na crawl budget wpływa rozmiar danej witryny, jej ogólna kondycja, w tym występujące błędy, jak i ilość linków prowadzące do danej strony internetowej.
Jaki poznać crawl budget swojej strony internetowej?
- Wystarczy zalogować się do Google Search Console.
- Następnie należy wybrać interesującą nas stronę internetową.
- Ostatnim krokiem jest przejście do opcji Indeksowanie > Statystyki indeksowania . Tam z łatwością można sprawdzić liczbę adresów URL, które Google zaindeksowało.
Czy hosting wpływa na indeksowanie adresów URL?
Nie ulega wątpliwości, że hosting wpływa na crawl budget. Witryna działająca na kiepskiej jakości współdzielonej platformie hostingowej z setkami innych witryn skazana jest na porażkę. Im większa jest strona internetowa, tym limit indeksowania dla niej jest bardziej ograniczony. Dlaczego? Ponieważ limit indeksowania hosta musi być dostępny dla wszystkich innym stron internetowych działających na danym hostingu. W takim przypadku najlepszym rozwiązaniem jest korzystanie z serwera dedykowanego. Takie rozwiązanie nie tylko pozytywnie wpłynie na indeksowanie adresu URL, ale też najprawdopodobniej znacznie skróci czas ładowania strony dla osób ją odwiedzających. Należy pamiętać, że Google nie ma nieograniczonego czasu i zasobów do ciągłego indeksowania każdej strony internetowej. Tym samym nie ma złotego środka ani gwarancji, że wszystkie strony zostaną zaindeksowane.