Crawl budget i taxonomy bloat w e-commerce: tagi, filtry i kategorie, które zjadają indeksowanie

W skrócie: Taxonomy bloat to sytuacja, w której sklep internetowy ma więcej indeksowanych kategorii, tagów i filtrów niż produktów z realnymi kliknięciami. Efekt: marnowanie crawl budgetu, rozcieńczenie PageRank i szum sygnałów tematycznych. W audycie polskiego sklepu z galanterią jedna karta produktu miała 583 linków wewnętrznych, z czego 397 prowadziło do kategorii – w tym do bidonów turystycznych i ponczo przeciwdeszczowych. Narzędzie diagnostyczne zwróciło wynik 100/high – maksymalny poziom ryzyka.

Sklep internetowy z galanterią skórzaną rozbudował taksonomię do około 4000 kategorii. Na każdej karcie produktu mega-menu renderowało niemal 400 linków do kategorii – od torebek damskich, przez bidony turystyczne, po poncza przeciwdeszczowe. 28% kodu HTML karty produktu to były same linki nawigacyjne. Efekt: spadek widoczności w Google. W takich przypadkach konieczny jest audyt naprawczy SEO sklepu, który zidentyfikuje przyczyny i wskaże priorytety.

To nie jest wyjątek. W audytach e-commerce regularnie spotykamy serwisy, które mają więcej kategorii niż produktów z realnymi kliknięciami w Google Search Console. Problem nie polega na tym, że taksonomia jest rozbudowana. Problem polega na tym, że rozbudowana taksonomia bez wartości zjada crawl budget, rozcieńcza sygnały jakości i mówi algorytmowi, że strona o listonoszce jest równie powiązana z kubkami turystycznymi co z torebkami.

Ten artykuł jest częścią serii o Google Spam Policies (zobacz też: scraping i thin affiliation, link spam i PBN). Taxonomy bloat wpada w rodzinę 2: struktura i duplikacja – obok doorway (tzw. doorway pages) pages, duplicate content i near-duplicate pages.

Czym jest crawl budget i dlaczego w e-commerce ma szczególne znaczenie?

Crawl budget to liczba stron, które Googlebot jest gotów pobrać z serwisu w danym okresie. Google oficjalnie opisuje to w dokumentacji o zarządzaniu crawl budgetem. Dla małych serwisów (poniżej kilku tysięcy stron) crawl budget rzadko jest problemem – Googlebot zazwyczaj daje radę. Ale dla sklepów e-commerce z tysiącami produktów, wariantów, filtrów i kategorii – crawl budget staje się zasobem, o który trzeba walczyć.

Dlaczego? Bo sklep z 500 produktami i 4000 kategorii generuje tysiące URL-i, z których większość nie ma unikalnej treści. Puste kategorie, kategorie z jednym produktem, filtry generujące duplikaty listy produktów, paginacja archiwów – to wszystko Googlebot musi pobrać, przeanalizować i zdecydować, czy warto indeksować. Każda pobrana strona bez wartości to stracona szansa na pobranie strony, która ma wartość.

Patent US20130091115A1 opisuje metody automatycznego zarządzania zasobami crawlowania, w których system decyduje o priorytetach pobierania stron na podstawie ich przewidywanej wartości. Strony, które historycznie nie generowały ruchu, nie były klikane w wynikach wyszukiwania lub miały niską jakość treści, mogą otrzymywać niższy priorytet crawlowania. W praktyce oznacza to, że jeśli Googlebot wielokrotnie trafia na puste lub thin kategorie, może obniżyć częstotliwość crawlowania całego serwisu – w tym stron produktowych, które faktycznie mają wartość.

Jak 397 kategorii na jednej karcie produktu zabija widoczność – anonimowy przypadek?

Przeanalizowaliśmy sklep internetowy z branży galanterii skórzanej i akcesoriów. Ktoś podjął decyzję o rozbudowie taksonomii do ponad 4000 kategorii – żeby pokryć jak najwięcej zapytań w Google. Logika brzmiała: „więcej kategorii = więcej fraz kluczowych = więcej ruchu”. W praktyce stało się dokładnie odwrotnie. Z tych 4000 kategorii niemal 400 renderowało się w mega-menu na każdej stronie serwisu. Narzędzie diagnostyczne spam_indexable_taxonomy_bloat_score zwróciło wynik 100/high – maksymalny poziom ryzyka w skali taxonomy bloat.

Liczby z audytu jednej karty produktu (damska listonoszka) mówią same za siebie. 583 linki wewnętrzne na jednej stronie. 397 z nich to linki do unikalnych kategorii. 28% kodu HTML strony (ponad 73 000 znaków) to same linki nawigacyjne do kategorii. Zero linków z atrybutem nofollow. Taksonomia sięgała 5 poziomów głębokości, przy czym 267 kategorii znajdowało się na poziomie 3.

Najpoważniejszy problem to szum sygnału. Strona o damskiej listonoszce linkowała do kategorii takich jak „Kubki turystyczne”, „Bidony turystyczne”, „Ponczo i peleryny przeciwdeszczowe”, „Breloczki” czy „Etui na paszport”. Dla algorytmu te linki to sygnały tematycznego powiązania. Strona mówi Google: „jestem równie powiązana z bidonami turystycznymi co z torebkami damskimi”. To jest dokładnie odwrotność tego, co chcesz komunikować.

Drugi problem to rozcieńczenie PageRank. Przy 583 linkach na stronie każdy link przekazuje około 0,17% equity – zamiast 2-5% przy typowych 20-50 linkach. Linki do kluczowych kategorii (np. „Torebki damskie”) są równoważne z linkami do marginalnych podkategorii (np. „Organizer do walizki”). Algorytm nie wie, co jest ważne.

Trzeci problem to marnowanie crawl budgetu. Googlebot odkrywając jedną kartę produktu trafia na 397 URL-i kategorii do przeanalizowania. Przy 500 kartach produktów to potencjalnie 198 500 ścieżek do kategorii – z których większość prowadzi do stron z identycznym lub niemal identycznym zestawem produktów.

Jakie patenty Google opisują problem nadmiernej taksonomii?

Taxonomy bloat nie jest wprost wymieniony w Google Spam Policies jako osobna kategoria. Ale kilka rodzin patentów opisuje sygnały, które bezpośrednio dotyczą tego problemu.

Sprawdziliśmy wzorzec na dwóch różnych kartach produktów. Wynik: listonoszka damska miała 583 linki wewnętrzne i 397 unikalnych kategorii. Portfel damski na tej samej platformie – 561 linków i 370 kategorii. Wzorzec jest identyczny, bo to mega-menu renderuje się szablonowo na każdej stronie.

Sprawdziliśmy też same kategorie. „Bidony turystyczne” – 20 produktów, brak noindex. „Ponczo i peleryny przeciwdeszczowe” – 7 produktów, brak noindex. „Organizer do walizki” – 7 produktów, brak noindex. Wszystkie trzy kategorie są indeksowalne w sklepie, którego core business to galanteria skórzana. Googlebot musi crawlować te strony, indeksować je i próbować zrozumieć, dlaczego sklep z torebkami i portfelami ma indeksowane kategorie z bidonami i ponczami.

To jest sedno problemu: nie chodzi o to, że sklep sprzedaje bidony (może je sprzedawać). Chodzi o to, że kategoria „Bidony turystyczne” z 20 produktami i zerowym unikalnym opisem jest indeksowalna, nie ma noindex, a na dokładkę jest zlinkowana z każdej karty produktu w serwisie – w tym z kart torebek damskich i portfeli męskich. Sygnał tematyczny jest kompletnie rozmyty.

Patent US8140505B1 opisuje metody identyfikacji i obsługi near-duplicate documents. W kontekście e-commerce: jeśli kategoria „Torebki damskie skórzane czarne” i kategoria „Czarne torebki ze skóry” wyświetlają ten sam zestaw produktów z takim samym layoutem – to jest near-duplicate. Patent opisuje, jak system może wykrywać takie pary i decydować, którą wersję pokazywać w wynikach.

Patent US6658423B1 opisuje metody fingerprinting dokumentów, które mogą służyć do wykrywania duplikatów na dużą skalę. Bill Slawski w swojej analizie tego patentu zwrócił uwagę, że Google może budować sygnatury całych sekcji strony – nie tylko treści głównej. To oznacza, że jeśli 200 kategorii ma identyczny layout z jedynie podmienionym nagłówkiem, system może je traktować jako masowe duplikaty.

Patent US20130091115A1 opisuje metody zarządzania zasobami crawlowania na podstawie wartości stron. W połączeniu z patentem US9754028B2 (opisującym priorytetyzację URL-i do crawlowania) tworzy obraz systemu, który aktywnie decyduje: „tę kategorię warto crawlować, tamtą – nie”. Jeśli serwis ma 4000 kategorii, z których 3000 to puste lub thin archiwa, system może obniżyć priorytet crawlowania całej domeny.

Warto pamiętać, że patenty to rodziny sygnałów, nie instrukcja algorytmu. Ale wzorzec jest jasny: Google inwestuje w rozpoznawanie duplikatów, near-duplicate’ów i stron o niskiej wartości, i w inteligentną alokację crawl budgetu. Serwis, który sam generuje tysiące niskowartościowych URL-i, działa przeciwko sobie. W naszym anonimowym przypadku narzędzie diagnostyczne zmapowało 8 patentów z rodzin dynamic_url_crawl, near_duplicate_similarity, duplicate_content i query_specific_duplicate – wszystkie z priorytetem P1 lub P2. Wynik 100/high oznacza, że każdy ze zmierzonych sygnałów wskazuje na ryzyko: liczba indeksowanych URL-i taksonomii, puste archiwa, brak noindex na niskowartościowych kategoriach, niespójność canonical, marnowanie crawl budgetu na near-duplicate strony.

Kiedy kategoria, tag lub filtr zasługuje na indeksowanie?

Proste pytanie, trudna odpowiedź. Ale istnieje zestaw sygnałów, które pomagają podjąć decyzję.

Kategoria zasługuje na indeks, gdy spełnia trzy warunki jednocześnie. Po pierwsze: ma unikalną treść, której nie ma na żadnej innej stronie w serwisie – opis kategorii, poradnik zakupowy, porównanie produktów, unikalne zdjęcia. Po drugie: ma realny popyt – widoczna jest w Google Search Console z impressions lub kliknięciami, albo pokrywa zapytania, które użytkownicy wpisują w wyszukiwarkę. Po trzecie: zawiera wystarczającą liczbę produktów (minimum 3-5), żeby strona nie była pusta lub niemal pusta.

Tag zasługuje na indeks rzadziej niż kategoria – i jest jednym z najczęstszych źródeł kanibalizacji w e-commerce. Tagi w większości systemów (WooCommerce, PrestaShop, Shoper, Sky-Shop) generują archiwa, które wyglądają identycznie jak archiwa kategorii, ale zwykle nie mają żadnej unikalnej treści. Problem jest podwójny.

Po pierwsze: tagi generują thin content – problem ściśle powiązany z scaled content abuse. Tag „skóra naturalna” tworzy stronę z listą produktów ze skóry – ale bez unikalnego opisu, bez poradnika zakupowego, bez porównania materiałów. To jest pusta strona z listą produktów, identyczna w layoucie z dziesiątkami innych tagów. W WooCommerce tagi są domyślnie indeksowalne – co oznacza, że sklep z 200 tagami ma 200 dodatkowych stron thin content w indeksie Google, o których właściciel często nawet nie wie.

Po drugie – i to jest gorszy problem: tagi kanibalizują kategorie. Tag „czarne torebki” i kategoria „Torebki damskie czarne” wyświetlają ten sam zestaw produktów. Obie strony konkurują o te same zapytania w Google. Zamiast jednej silnej strony rankującej na „czarne torebki damskie”, masz dwie słabe strony, które dzielą się sygnałami. Google musi wybrać, którą pokazać – i często wybiera źle, albo nie pokazuje żadnej. To jest kanibalizacja w czystej postaci.

W naszym anonimowym przypadku (sklep z galanterią) tagi takie jak „skórzane”, „damskie”, „męskie”, „na prezent”, „eleganckie” generowały dziesiątki dodatkowych indeksowanych stron, z których każda pokrywała się z istniejącymi kategoriami. Efekt: Google widział 3-4 strony rywalizujące o to samo zapytanie, rozcieńczając sygnały między nimi. Rozwiązanie jest proste: noindex na wszystkich tagach (globalnie w Rank Math, Yoast SEO lub na poziomie platformy), chyba że konkretny tag pokrywa zapytanie, którego żadna kategoria nie pokrywa, i ma unikalną treść.

Filtr (kolor, rozmiar, cena, marka) prawie nigdy nie powinien być indeksowany – a kombinacje filtrów to tykająca bomba crawl budgetowa. Filtry generują warianty URL-i (np. /torebki/?kolor=czarny&material=skora), które wyświetlają podzbiór produktów z nadrzędnej kategorii. Google rekomenduje używanie parametrów URL z noindex lub canonical na stronę nadrzędną.

Prosta matematyka pokazuje skalę problemu. Kategoria „Torebki damskie” z filtrami: 8 kolorów × 4 materiały × 3 przedziały cenowe × 6 marek = 576 wariantów URL z jednej kategorii. Przy 50 kategoriach z filtrami to 28 800 potencjalnych URL-i – z których każdy wyświetla podzbiór tej samej listy produktów. Jeśli te URL-e są indeksowalne (brak noindex, brak canonical), Googlebot musi je wszystkie pobrać, przeanalizować i zdecydować, że są near-duplicate. To jest dokładnie ten wzorzec marnowania zasobów crawlowania, który opisuje patent US9754028B2 (priorytetyzacja URL-i do crawlowania).

Dodatkowy problem z filtrami: kombinowane filtry kanibalizują podkategorie. Jeśli masz kategorię „Torebki skórzane” i jednocześnie filtr /torebki/?material=skora – obie strony walczą o zapytanie „torebki skórzane”. Jedna z nich jest niepotrzebna. W praktyce: kategorie powinny pokrywać główne atrybuty zakupowe (materiał, typ, przeznaczenie), a filtry powinny służyć do zawężania wyników na stronie, nie do generowania nowych URL-i do indeksowania.

Jak mega-menu z setkami linków rozcieńcza sygnały rankingowe?

W naszym anonimowym przypadku mega-menu renderowało niemal 400 kategorii na każdej stronie. To typowy wzorzec w polskim e-commerce: właściciel sklepu chce, żeby użytkownik mógł dotrzeć do każdej kategorii z każdej strony. Intencja jest dobra – ale implementacja zabija SEO.

Problem jest matematyczny. Google w swoim oryginalnym modelu PageRank zakładał, że wartość strony jest rozdzielana równomiernie między wszystkie linki wychodzące. Przy 583 linkach na stronie każdy link przekazuje minimalną wartość. Link z karty produktu do kategorii „Torebki damskie” (kluczowa kategoria biznesowa) ma dokładnie taką samą wagę jak link do „Organizer do walizki” (marginalna podkategoria z 2 produktami).

Patent US7716225 (Ranking documents based on user behavior and/or feature data) opisuje model Reasonable Surfer, w którym waga linku może być modyfikowana na podstawie kontekstu – pozycji na stronie, wielkości czcionki, relacji tematycznej między stroną źródłową a docelową. Bill Slawski analizował ten patent w kontekście Reasonable Surfer model, w którym nie wszystkie linki mają równą wagę – linki w treści głównej mogą mieć wyższą wagę niż linki w nawigacji, stopce czy mega-menu. Ale nawet przy Reasonable Surfer: 400 linków w nawigacji to nadal masywny szum.

Rozwiązanie nie polega na usunięciu mega-menu, tylko na jego ograniczeniu. Menu powinno pokazywać kategorie najwyższego poziomu (10-15) i ewentualnie najpopularniejsze podkategorie (20-30). Głębsze poziomy powinny być dostępne dopiero po wejściu w kategorię nadrzędną – nie renderowane na każdej stronie serwisu.

Index, noindex, canonical, merge czy delete – jak podjąć decyzję?

Decyzja o tym, co zrobić z każdą kategorią, powinna opierać się na danych, nie na intuicji. Oto framework, który stosujemy w audytach.

INDEX – kategoria ma unikalne produkty (minimum 3-5), unikalną treść (opis, poradnik, porównanie), realny popyt w GSC (impressions i/lub kliknięcia) i nie jest duplikatem innej kategorii. Przykład: „Torby na laptopa damskie” z 12 produktami, unikalnym opisem i 200 impressions miesięcznie.

NOINDEX – kategoria jest pusta (zero produktów), thin (1-2 produkty), nie ma unikalnej treści poza listą produktów, nie generuje impressions w GSC. Przykład: „Poncza przeciwdeszczowe” z jednym produktem i zero impressions. Strona powinna mieć meta robots noindex, ale pozostać dostępna dla użytkowników przez nawigację.

CANONICAL – kategoria wyświetla ten sam zestaw produktów co inna kategoria lub jest podzbiorem nadrzędnej kategorii. Canonical powinien wskazywać na kategorię nadrzędną. Przykład: filtr /torebki/?kolor=czarny powinien mieć canonical na /torebki/.

MERGE – dwie lub więcej kategorii mają identyczny lub niemal identyczny zestaw produktów. Powinny zostać scalone w jedną, z przekierowaniem 301 z usuniętych na docelową. Przykład: „Torebki skórzane damskie” i „Damskie torebki ze skóry” to ten sam zbiór produktów.

DELETE – kategoria nie ma produktów, nie ma impressions, nie ma żadnych linków przychodzących i nie będzie miała produktów w przyszłości. Można ją usunąć z serwisu całkowicie, z odpowiedzią 410 (Gone). Przykład: sezonowa kategoria „Kolekcja lato 2023” z zerowym asortymentem.

Kiedy rozbudowana taksonomia jest uzasadniona – typowe false positive?

Nie każda duża taksonomia to problem. Istnieją przypadki, w których setki kategorii są uzasadnione.

Sklepy z szerokim asortymentem (tysiące SKU w dziesiątkach branż) mogą potrzebować rozbudowanej taksonomii. Allegro, Amazon, Morele.net – mają tysiące kategorii, bo mają tysiące unikalnych grup produktowych. Kluczowa różnica: ich kategorie mają dziesiątki lub setki produktów, unikalną treść i realny popyt. To nie jest bloat – to adekwatna struktura do skali.

Sklepy z konfigurowalnymi produktami (np. meble na wymiar, odzież z personalizacją) mogą potrzebować kategorii filtrujących po wariantach. Ale te kategorie powinny być indeksowalne tylko wtedy, gdy wariant ma unikalny popyt (np. „sofa narożna szara” ma inne zapytanie niż „sofa narożna”).

B2B z głęboką specjalizacją (np. komponenty elektroniczne, chemia przemysłowa) mogą mieć hierarchię 5-6 poziomów, bo ich klienci szukają bardzo specyficznych produktów. Ale nawet tutaj: jeśli kategoria 5. poziomu ma jeden produkt i zero impressions – powinna być noindex.

Sygnałem ostrzegawczym nie jest sama liczba kategorii, ale proporcja. Jeśli masz 4000 kategorii i 500 produktów, coś jest nie tak. Jeśli masz 4000 kategorii i 50 000 produktów z realnymi kliknięciami – struktura może być adekwatna.

Poniższa tabela podsumowuje kryteria decyzji dla każdego typu strony taksonomii.

Decyzja	Kiedy stosować	Warunek konieczny	Przykład
INDEX	Unikalne produkty + unikalna treść + popyt GSC	Min. 3-5 produktów, impressions w GSC, opis kategorii	Torby na laptopa damskie (12 produktów, 200 impressions/msc)
NOINDEX	Pusta/thin kategoria bez popytu	0-2 produkty, zero impressions, brak unikalnej treści	Poncza przeciwdeszczowe (7 produktów, 0 impressions)
CANONICAL	Filtr = podzbiór nadrzędnej kategorii	Ten sam zestaw produktów co kategoria nadrzędna	/torebki/?kolor=czarny → canonical na /torebki/
MERGE + 301	2+ kategorie z identycznym asortymentem	Te same produkty, te same zapytania docelowe	Torebki skórzane damskie + Damskie torebki ze skóry → 301
DELETE + 410	Zero produktów, zero popytu, zero linków	Nie będzie produktów w przyszłości	Kolekcja lato 2023 (0 produktów, sezon minął)

Checklist: audyt taxonomy bloat w e-commerce

Taxonomy bloat to jedna z 10 rodzin ryzyka w kompletnym spam audit checkliście z mapą 26 patentów.

Poniższy checklist to punkt wyjścia do audytu taksonomii w sklepie internetowym.

Crawl budget i indeksacja. Ile URL-i kategorii/tagów/filtrów jest w indeksie Google (site: operator lub GSC Coverage)? Ile z nich generuje impressions? Ile jest pustych (zero produktów) lub thin (1-2 produkty)? Czy filtry generują indeksowalne URL-i? Ile URL-i Googlebot crawluje dziennie (GSC Crawl Stats)?

Mega-menu i nawigacja. Ile linków renderuje się na każdej stronie? Ile z nich to linki do kategorii? Czy menu pokazuje wszystkie poziomy taksonomii, czy tylko najwyższy? Ile procent HTML stanowią linki nawigacyjne? Czy linki w menu mają nofollow (jeśli prowadzą do noindex stron)?

Duplikacja, kanibalizacja i near-duplicate. Ile par kategorii wyświetla identyczny zestaw produktów? Ile tagów kanibalizuje kategorie (ten sam zestaw produktów, to samo zapytanie docelowe)? Ile filtrów generuje duplikaty istniejących kategorii? Czy canonical jest spójny na wszystkich wariantach? Czy w GSC widzisz zapytania, na które rankują 2+ URL-e z Twojego serwisu (sygnał kanibalizacji)?

Treść i wartość. Ile kategorii ma unikalny opis (nie automatycznie generowany)? Ile ma audytowaną treść? Ile ma FAQ lub poradnik zakupowy? Czy treść kategorii wnosi wartość, której nie ma na stronie nadrzędnej?

Linkowanie wewnętrzne. Czy linkowanie wewnętrzne z kart produktów prowadzi do kluczowych kategorii, czy do wszystkich 400? Czy kategorie linkują między sobą w sposób tematycznie spójny? Czy breadcrumby są poprawne i nie wskazują na nieistniejące lub noindex strony?

Źródła i dalsze czytanie

Managing your crawl budget – dokumentacja Google o zarządzaniu crawl budgetem w dużych serwisach.

URL structure guidelines – rekomendacje Google dotyczące struktury URL-i, w tym obsługi filtrów i parametrów.

Google Spam Policies – pełna dokumentacja rekomendacji Google dotyczących spamu.

Bill Slawski, Google’s Reasonable Surfer – analiza patentu opisującego, jak wartość linku może zależeć od kontekstu, pozycji na stronie i danych użytkowników.

Patenty cytowane w artykule: US20130091115A1 (crawl management), US8140505B1 (near-duplicate detection), US6658423B1 (document fingerprinting), US7716225 (Reasonable Surfer – link value context), US7627613B1 (duplicate document detection in crawler), US20130091115A1 (crawl management), US9754028B2 (URL prioritization), US7734627B1 (duplicate clustering).