Jak często roboty wyszukiwarki odwiedzają Twój serwis? Czym jest crawl budget i jak można go zwiększyć, aby działania SEO były jeszcze skuteczniejsze? Co wpływa na budżet indeksowania witryny? Przeczytaj tekst do końca, a znajdziesz odpowiedzi!
Czy roboty indeksujące nie chodzą tam gdzie nie powinny
Roboty wyszukiwarki nie mogą wciąż przebywać na Twojej stronie internetowej, oczekując na kolejne aktualizacje. Mogłoby to doprowadzić do przeciążenia serwisu i wydłużenia czasu ładowania, co byłoby niekorzystne z punktu widzenia użytkowników. Roboty korzystają z ograniczonego czasu i mają do wykorzystania ograniczone zasoby.
Warto zwrócić uwagę zarówno na limit wydajności indeksowania (Crawl Rate Limit), jak i na zapotrzebowanie na indeksację. Pierwszy termin określa to, jaka jest dopuszczalna maksymalna liczba połączeń równoległych, czyli ile tak naprawdę jest w stanie wytrzymać serwer. Z kolei określając zapotrzebowanie na indeksację (Crawl Demand), Google bierze pod uwagę takie aspekty, jak np. wielkość strony internetowej, jakość techniczna witryny, a także to, jak często aktualizujesz content.
Chcesz poprawić budżet indeksacji, aby roboty Google jeszcze sprawniej skanowały zawartość Twojego serwisu? W pierwszej kolejności przyjrzyj się temu, czy Googleboty nie zapuszczają się w rejony witryny, które powinny być dla nich niedostępne. Możesz to zrobić na dwa sposoby:
- Pierwsza z możliwości to weryfikacja wyników wyszukiwania, które wyświetlą się po wpisaniu zapytania z komendą site:. Jeśli adres URL Twojej witryny to xyz.pl, w pole wyszukiwarki wpisujesz „site:xyz.pl” – w odpowiedzi otrzymasz adresy tych podstron, które Googlebot już odwiedził, zeskanował i dodał do indeksu. Weź pod uwagę, że otrzymana lista wyników może być niepełna.
- Kolejny sposób na sprawdzenie stanu indeksacji to wykorzystanie informacji zgromadzonych w Google Search Console. W zakładce „stan”, w sekcji „indeks” Google udostępnia informacje o zaindeksowanych podstronach. W tym momencie interesują Cię tylko te adresy URL, które zostały prawidłowo dodane do indeksu.
Są takie części serwisu, do których roboty wyszukiwarki nie powinny trafić. Pamiętaj, że wykorzystując plik robots.txt, możesz zablokować im dostęp do poszczególnych adresów.
Crawl budget – Prędkość pobierania danych
Jeśli chcesz, żeby roboty Google częściej odwiedzały Twoją witrynę i były w stanie zeskanować większą liczbę podstron, postaraj się zoptymalizować szybkość ładowania się strony. Im szybciej będzie działała, tym większe możliwości w zakresie skanowania zawartości będą miały roboty. Co w tym przypadku negatywnie wpływa na crawl budget? Może to być np. zbyt długi czas odpowiedzi serwera lub niewłaściwie ustawione przekierowania (tzw. łańcuchy przekierowań).
Co możesz zrobić, aby zwiększyć prędkość pobierania danych i zoptymalizować Crawl Health? Pozbądź się zbędnych łańcuchów przekierowań i zadbaj o właściwą architekturę witryny.
Kod odpowiedzi otrzymywany przez roboty w crawl stats
Odpowiedź na pytanie o to, jakie kody odpowiedzi otrzymują roboty Google, kiedy odwiedzają poszczególne podstrony w Twoim serwisie, otrzymasz, przeglądając wcześniejsze statystyki indeksowania. Znajdziesz je w Google Search Console w sekcji „starsze narzędzia i raporty”.
Prawidłowa sytuacja to taka, w której wyświetla się kod odpowiedzi 200. Każdy inny, np. 404, może negatywnie wpływać na częstotliwość i przede wszystkim na efektywność crawlowania. Czas, który mógłby zostać wykorzystany na skanowanie zaktualizowanych podstron, zostanie poświęcony na analizę elementów serwisu, które i tak finalnie nie zostaną dodane do indeksu wyszukiwarki. To marnowanie cennych zasobów.
Linkowanie wewnętrzne
Podczas analizy crawl budgetu warto nieco czasu poświęcić na sprawdzenie wewnętrznego profilu linków, zwłaszcza jeśli sytuacja dotyczy serwisu z ogromną liczbą podstron (np. sklepu internetowego). Jeśli linkowanie wewnątrz serwisu jest zbyt zawiłe i występują łańcuchy przekierowań, to roboty będą w stanie zeskanować mniejszą liczbę podstron w tym samym czasie. Osłabi to współczynnik crawlowania.
O tym, jak wyglądają przekierowania wewnątrz serwisu, przekonasz się, zaglądając po raz kolejny do Google Search Console. Jeśli natrafisz na zbędne przekierowania, to czym prędzej je usuń – dzięki temu robot zyska szansę na to, aby zaindeksować większą liczbę stron.
GSC – zakładka „wykluczone”
Jeśli zależy Ci na tym, aby optymalizacja crawl budget przyniosła jak najlepsze efekty, zajrzyj do Google Search Console i sprawdź, które adresy URL znalazły się w zakładce „wykluczone”. Mogą tam trafić zarówno URL-e, do których celowo zablokowałeś dostęp robotom wyszukiwarki, jak i adresy, które powinny znaleźć się w wynikach wyszukiwania, jednak w procesie ich indeksacji coś poszło nie tak i pojawił się jakiś błąd. W tym drugim przypadku taka sytuacja może mieć negatywny wpływ na budżet crawlowania, a tym samym zmniejsza efektywność działań SEO.
Pamiętaj, że indeksacja zależy od parametru canonical, który jest pierwszym tageim i najważniejszym, jaki jest analizowany przez Googleboty.
—
Weryfikując budżet crawlowania, weź pod uwagę elementy takie jak poprawnie zaindeksowane adresy URL, zakładka „wykluczone” w GSC, prędkość pobierania danych, kod odpowiedzi, który otrzymują roboty, a także sposób linkowania wewnętrznego.
