Duplikacja w e-commerce to nie tylko duplicate content – co patenty Google mówią o near-duplicate produktach?

Duplikacja w e-commerce to znacznie więcej niż powtórzony tekst na dwóch podstronach. W kontekście pozycjonowania sklepów internetowych problem duplikacji obejmuje trzy różne warstwy: identyczną lub bardzo podobną treść (duplicate content), niemal identyczne listingi produktowe (near-duplicate produkty) i różne URL-e odpowiadające na tę samą intencję wyszukiwania (duplicate intent). Każdą z tych warstw opisują osobne rodziny patentów Google – i każda wymaga innego podejścia technicznego.

W tym artykule analizuję pięć grup patentowych, które opisują mechanizmy wykrywania i filtrowania duplikatów w wyszukiwarce. Pokazuję, jak te mechanizmy mogą działać w praktyce e-commerce: od szablonowych opisów produktów, przez warianty kolorystyczne i rozmiarowe, po dziesiątki URL-i generowanych przez faceted navigation i sortowania. I wyjaśniam, dlaczego canonical tag to dopiero początek rozwiązania – nie koniec.

Patent nie jest dowodem, że dany mechanizm działa dokładnie tak w bieżącym algorytmie Google. Patent jest modelem analitycznym – pokazuje problem, który inżynierowie próbowali rozwiązać, i pozwala zbudować praktyczną checklistę dla e-commerce. To zastrzeżenie dotyczy każdego artykułu w tym cyklu.

Trzy warstwy duplikacji w e-commerce – czym się różnią?

Zanim przejdziemy do patentów, warto jasno rozdzielić trzy problemy, które w praktyce SEO e-commerce często się mieszają:

Typ duplikacji	Co jest duplikowane?	Przykład e-commerce	Mechanizm wykrywania
Duplicate content	Identyczna lub prawie identyczna treść	Ten sam opis produktu na dwóch URL-ach (np. /buty-nike/ i /obuwie/buty-nike/)	Fingerprinting, hash dokumentu
Near-duplicate produkt	Bardzo podobne listingi produktowe o zbliżonych atrybutach	Nike Air Max 90 biały 42 vs Nike Air Max 90 biały 43 – różnią się tylko rozmiarem	Porównanie atrybutów, odległość między wpisami
Duplicate intent	Różne strony odpowiadające na to samo zapytanie	/buty-nike?sort=price vs /buty-nike?sort=popular – różne sortowanie, te same produkty	Analiza wyników dla konkretnego zapytania

Te trzy warstwy wymagają różnych rozwiązań technicznych. Duplicate content rozwiązujesz canonical tagiem i konsolidacją treści. Near-duplicate produkty rozwiązujesz danymi strukturalnymi ProductGroup i poprawnym grupowaniem wariantów. Duplicate intent rozwiązujesz architekturą URL-i, zarządzaniem parametrami i kontrolą indeksacji. Ale Google może je wykrywać niezależnie od tego, czy Ty je rozwiązałeś.

Jak Google może filtrować near-duplicate produkty w wynikach zakupowych?

Patenty US9342849B2 i US9607331B2 (Google LLC, ta sama rodzina patentowa – drugi jest kontynuacją pierwszego) opisują system filtrowania near-duplicate entries w wynikach wyszukiwania zakupowego. Mechanizm działa w trzech krokach:

• Opis atrybutowy – każdy wpis produktowy jest opisany zestawem atrybutów (nazwa, cena, marka, kolor, rozmiar, kategoria). System nie porównuje pełnych opisów tekstowych – porównuje wektory atrybutów.
• Obliczanie odległości – dla każdej pary wpisów system oblicza odległość na podstawie różnic w atrybutach. Dwa wpisy różniące się tylko rozmiarem mają małą odległość. Dwa wpisy różniące się marką, ceną i kategorią mają dużą odległość.
• Klastrowanie i filtrowanie – wpisy o małej odległości trafiają do jednego klastra. Z każdego klastra w wynikach wyszukiwania wyświetlany jest jeden reprezentant – zazwyczaj ten z najwyższym „document significance measure” (najpewniej kombinacja trafności, popularności i jakości).

Claim 1 patentu US9342849B2 opisuje ten proces: „For each pair of entries in a set of entries, each entry characterizing a product in a data store of an online shopping system and each entry characterized by a set of attributes, determining a distance between the entries in the pair based on the attributes. Determining entry clusters from a graph formed with each determined distance as an edge between nodes.”

Co to oznacza dla sklepu internetowego?

Jeśli Twój sklep generuje dziesiątki URL-i dla wariantów tego samego produktu – np. osobna strona dla każdego rozmiaru buta – system near-duplicate może je potraktować jako klaster i wybrać jeden reprezentatywny URL do wyświetlenia w wynikach. Pozostałe URL-e nie zostaną wyświetlone, nawet jeśli są zaindeksowane.

To nie jest to samo co duplicate content w tradycyjnym sensie. Strony wariantów mogą mieć unikalny tekst, unikalne zdjęcia, unikalne URL-e – ale jeśli ich atrybuty produktowe są zbyt podobne, system może je klastrować. Rozwiązaniem jest prawidłowe grupowanie wariantów przez ProductGroup w danych strukturalnych i item_group_id w feedzie produktowym, co jasno komunikuje Google: „to są warianty jednego produktu, nie osobne produkty.”

Jak phrase-based detection może wykrywać szablonowe opisy produktów?

Patenty US7711679B2, US8108412B2 i US8489628B2 (Google LLC, ta sama rodzina – autorka Anna L. Patterson) opisują mechanizm wykrywania duplikatów oparty na analizie fraz. Zamiast porównywać pełne dokumenty znak po znaku, system:

• Identyfikuje „istotne frazy” w dokumencie – nie wszystkie n-gramy, ale te, które mają wysoki information gain (informatyczną wartość) w kontekście całego indeksu.
• Buduje „document description” – opis dokumentu składający się z kilku najważniejszych zdań, wybranych i uporządkowanych na podstawie liczby istotnych fraz, które zawierają.
• Porównuje opisy – jeśli document descriptions dwóch stron są identyczne lub bardzo podobne, dokumenty traktowane są jako duplikaty.

Ten mechanizm jest szczególnie istotny dla e-commerce, bo sklepy masowo generują treści oparte na szablonach. Typowy pattern:

• Opisy produktów wygenerowane z szablonu: „Prezentujemy [nazwa produktu] marki [marka]. [Nazwa produktu] to idealny wybór dla osób, które cenią [cecha]. Materiał: [materiał]. Kolor: [kolor].”
• Opisy kategorii skopiowane z nadkategorii: „W naszej ofercie znajdziesz [kategoria] najwyższej jakości w atrakcyjnych cenach.”
• Bloki informacyjne (dostawa, zwroty, gwarancja) powtórzone na każdej karcie produktu jako pełny tekst, nie jako komponent UI.

Jeśli 200 kart produktów w sklepie ma ten sam szablon opisu z wymienionymi tylko nazwą i ceną, system phrase-based detection może zidentyfikować ich document descriptions jako bliźniaczo podobne. To nie oznacza kary – ale może oznaczać, że Google traktuje te strony jako mniej unikalne, niż mogłyby być.

Czym jest query-specific duplicate i dlaczego to problem faceted navigation?

Patenty US7779002B1 i US6615209B1 (Google LLC, ta sama rodzina patentowa – autorzy Benedict Gomes i Benjamin Thomas Smith) wprowadzają pojęcie query-specific duplicate: dokumenty, które globalnie nie są duplikatami, ale dla konkretnego zapytania pełnią identyczną funkcję.

Claim 1 patentu US7779002B1 opisuje metodę, w której system „for each of the plurality of documents, deriving document content relevant to the query” i porównuje „content relevant to the query” między dokumentami – nie pełną treść, a tylko fragmenty istotne dla danego zapytania.

Jak to działa w e-commerce?

Wyobraź sobie sklep z butami i zapytanie „buty do biegania nike”:

URL	Treść strony	Treść istotna dla zapytania
/buty-do-biegania-nike/	Lista 45 modeli Nike do biegania	Lista 45 modeli Nike do biegania
/buty-do-biegania-nike/?sort=price-asc	Ta sama lista posortowana od najtańszych	Lista 45 modeli Nike do biegania
/buty-do-biegania-nike/?sort=popular	Ta sama lista posortowana wg popularności	Lista 45 modeli Nike do biegania
/buty-do-biegania-nike/?view=grid	Ta sama lista w widoku kafelkowym	Lista 45 modeli Nike do biegania

Globalnie te cztery strony nie są identyczne – mają inną kolejność produktów i inny układ. Ale dla zapytania „buty do biegania nike” wszystkie odpowiadają na tę samą intencję tą samą listą produktów. System query-specific duplicate detection może to rozpoznać i wybrać jeden URL do wyświetlenia.

To jest powód, dla którego zarządzanie parametrami URL w e-commerce jest krytyczne. Sama instrukcja noindex lub canonical na wariantach sortowania to minimum – ale patent sugeruje, że Google może wykrywać ten problem nawet bez tych sygnałów, analizując treść istotną dla zapytania.

Jak dane strukturalne mogą pomagać w deduplikacji?

Patent US20140280084A1 (wprost zatytułowany „Using structured data for search result deduplication”) opisuje wykorzystanie danych strukturalnych do rozpoznawania, kiedy różne strony pokazują te same produkty. W artykule o Product schema omawialiśmy ten patent w kontekście pól identyfikacyjnych (GTIN, SKU, productGroupID).

W kontekście duplikacji kluczowe jest to, jak dane strukturalne mogą sygnalizować relację między stronami:

Sygnał w danych strukturalnych	Co komunikuje Google	Scenariusz e-commerce
Identyczny GTIN na dwóch URL-ach	To ten sam produkt	Produkt dostępny pod dwoma URL-ami (np. /p/123/ i /marka/produkt/)
Ten sam productGroupID + inny color/size	To warianty jednego produktu	Nike Air Max 90 biały vs czarny
Ten sam offers.price + ten sam offers.seller na dwóch URL-ach	Prawdopodobnie ta sama oferta	Strona produktu + strona w kategorii z inline expansion
Brak identyfikatorów (GTIN, SKU)	Nie wiadomo, czy to ten sam produkt	System musi polegać na heurystykach (porównanie nazw, cen)

Im więcej identyfikatorów w feedzie produktowym i danych strukturalnych, tym precyzyjniej system może rozróżnić „duplikat do odfiltrowania” od „wariant do pogrupowania” od „osobny produkt do wyświetlenia.”

Czym jest fingerprinting dokumentów i jak działa w wykrywaniu duplikatów?

Patent US6658423B1 (Google Inc., autorka Monika H. Henzinger) opisuje ogólny mechanizm wykrywania duplikatów i near-duplikatów przez fingerprinting. Każdy dokument jest przetwarzany na „odcisk palca” (fingerprint) – skrócona reprezentacja treści, która pozwala szybko porównywać dokumenty bez analizy pełnego tekstu.

Mechanizm działa w dwóch fazach:

• Exact duplicate detection – hash całego dokumentu. Jeśli dwa dokumenty mają identyczny hash, są identyczne. Szybkie, ale nie wykrywa near-duplikatów.
• Near-duplicate detection – fingerprint oparty na wybranych fragmentach (shingling, min-hashing, SimHash). Porównanie fingerprintów pozwala oszacować podobieństwo bez porównywania pełnych treści. Dokumenty powyżej progu podobieństwa trafiają do klastra.

W kontekście e-commerce fingerprinting jest pierwszą linią obrony: jeśli dwie strony mają identyczny hash (np. /kategoria/ i /kategoria?page=1 z identyczną treścią), system natychmiast je rozpoznaje jako duplikaty. Ale fingerprinting nie rozwiązuje problemu near-duplicate produktów ani query-specific duplicates – do tego potrzebne są bardziej zaawansowane mechanizmy opisane w pozostałych patentach.

Co trzy warstwy duplikacji oznaczają dla SEO sklepu?

Z perspektywy SEO, duplikacja w e-commerce generuje trzy konkretne problemy:

Kanibalizacja pozycji w wynikach

Gdy Google widzi wiele URL-i z Twojego sklepu odpowiadających na to samo zapytanie, musi wybrać jeden. Nie zawsze wybiera ten, który Ty chcesz. Wariant kolorystyczny o mniejszej mocy linków może zostać wybrany zamiast strony głównej produktu – bo system near-duplicate filtruje wpisy w klastrze i wybiera „najlepszego reprezentanta” według własnych kryteriów (patent US9342849B2 mówi o „document significance measure”).

Jak to sprawdzić: w Google Search Console otwórz raport Wydajność, filtruj po konkretnym zapytaniu produktowym i sprawdź zakładkę „Strony.” Jeśli widzisz 3 lub więcej URL-i z Twojego sklepu na to samo zapytanie – masz kanibalizację.

Marnowanie crawl budgetu

Faceted navigation potrafi wygenerować tysiące URL-i z kombinacji filtrów. Googlebot ma ograniczony czas na crawlowanie każdego sklepu. Jeśli spędza go na indeksowaniu /buty?sort=price&view=grid&page=3 zamiast na nowych produktach czy ważnych kategoriach – to jest zmarnowany crawl budget. Patent US7779002B1 opisuje query-specific duplicate detection, co sugeruje, że Google może rozpoznać te strony jako duplikaty – ale zanim to zrobi, musi je najpierw pobrać i przeanalizować.

Rozmywanie sygnałów linków i autorytetu

Gdy produkt jest dostępny pod trzema URL-ami (z trzech ścieżek kategorii), linki zewnętrzne i wewnętrzne rozkładają się między te URL-e. Zamiast jednego silnego URL-a z pełną mocą linków, masz trzy słabe. Canonical tag powinien to konsolidować – ale patenty pokazują, że Google i tak analizuje treść niezależnie od canonical, bo canonical jest tylko sugestią, nie dyrektywą.

Co duplikacja oznacza dla właściciela sklepu?

Dla właściciela sklepu problem duplikacji przekłada się na trzy mierzalne skutki:

Utrata widoczności na zapytania produktowe

Gdy Google wybiera „zły” wariant jako reprezentanta klastra (np. wyprzedany rozmiar zamiast strony głównej produktu), potencjalny klient widzi w wynikach stronę, która nie prowadzi do zakupu. W badaniu 85 polskich sklepów z raportu AI Readiness stwierdziliśmy, że sklepy z wieloma ścieżkami URL do tych samych produktów i brakiem canonical tagów miały średnio niższy CTR na zapytania produktowe niż sklepy z uporządkowaną architekturą URL (szczegóły w raporcie o danych strukturalnych).

Opóźnione indeksowanie nowych produktów

Sklep z 5 000 produktów i 200 000 URL-i (bo faceted navigation generuje 40 wariantów na produkt) zmusza Googlebot do przetworzenia 40x więcej stron, niż jest realnych produktów. Nowe produkty dodane do oferty mogą czekać tygodnie na indeksację, bo crawl budget jest zajęty sortowaniami i filtrami. Rozwiązanie to nie tylko noindex na filtrach – to też IndexNow do natychmiastowego powiadamiania Google o nowych stronach.

Niespójne dane w Google Merchant Center

Gdy ten sam produkt jest dostępny pod wieloma URL-ami z różnymi danymi strukturalnymi (np. inne ceny na /buty/nike-air-max/ vs /promocje/nike-air-max/), Google Merchant Center może odrzucić produkty z feedu jako niespójne. Jak opisywaliśmy w artykule o feedzie produktowym i danych strukturalnych, Google porównuje feed z danymi na stronie – a jeśli strona to „zły” wariant URL z nieaktualnymi danymi, efektem jest odrzucenie produktu z Shopping.

Pięć scenariuszy duplikacji w sklepie internetowym

1. Warianty produktu bez prawidłowego grupowania

Sklep ma osobne URL-e dla każdego wariantu kolorystycznego i rozmiarowego: /buty-nike-air-max-bialy-42/, /buty-nike-air-max-bialy-43/, /buty-nike-air-max-czarny-42/. Każda strona ma unikalne zdjęcie, ale opis jest identyczny poza kolorem/rozmiarem. Brak ProductGroup w danych strukturalnych, brak item_group_id w feedzie.

Ryzyko: System near-duplicate (US9342849B2) może sklasyfikować wszystkie warianty jako klaster i wybrać jeden URL. System phrase-based (US7711679B2) może rozpoznać opisy jako near-duplikaty. Rozwiązanie: ProductGroup + variesBy + prawidłowy canonical na wybranym wariancie domyślnym.

2. Faceted navigation generująca setki URL-i

Sklep z 500 produktami w kategorii „Buty” ma filtry: marka (20), kolor (10), rozmiar (15), materiał (5), cena (4 zakresy). Kombinatorycznie to tysiące możliwych URL-i, z których większość pokazuje te same produkty w różnych konfiguracjach.

Ryzyko: System query-specific duplicate (US7779002B1) może rozpoznać, że /buty?marka=nike&sort=price i /buty?marka=nike&sort=popular odpowiadają na to samo zapytanie. System fingerprinting może wykryć, że strony filtrów z 1-2 produktami mają prawie identyczną treść. Rozwiązanie: Canonical na wersji bazowej (bez sortowania), noindex na kombinacjach filtrów z małą liczbą produktów, crawl budget management.

3. Szablonowe opisy produktów

Sklep z 2000 produktów generuje opisy z szablonu: „Produkt [nazwa] marki [marka] w kolorze [kolor]. Idealne rozwiązanie dla [persona]. Materiał: [materiał]. Gwarancja: 24 miesiące. Darmowa dostawa od 200 zł.”

Ryzyko: System phrase-based detection (US7711679B2) może wygenerować identyczne lub bardzo podobne document descriptions dla wszystkich produktów, bo „istotne frazy” to frazy szablonowe powtarzające się na każdej stronie. Rozwiązanie: Unikalne opisy z konkretnymi cechami produktu, zastosowaniami, porównaniami – nie puste frazy marketingowe.

4. Paginacja kategorii

Kategoria „Sukienki” ma 200 produktów, wyświetlanych po 20 na stronę. Strony /sukienki/, /sukienki?page=2, /sukienki?page=3 mają identyczną treść (nagłówek, opis kategorii, breadcrumb) z innym zestawem produktów.

Ryzyko: Umiarkowane. Paginacja jest dobrze rozumiana przez Google (rel=”next”/”prev” jest ignorowane, ale sygnały z URL są czytelne). Ale jeśli opis kategorii stanowi 80% treści strony, a produkty 20%, to system phrase-based może traktować strony paginacji jako near-duplikaty. Rozwiązanie: Canonical na stronę 1 lub implementacja infinite scroll z prerenderem.

5. Produkty z wielu ścieżek URL

Ten sam produkt jest dostępny pod wieloma URL-ami, bo należy do wielu kategorii: /buty-sportowe/nike-air-max-90/, /buty-do-biegania/nike-air-max-90/, /nike/air-max-90/. Treść identyczna, URL różny.

Ryzyko: Wysokie. System fingerprinting (US6658423B1) natychmiast wykryje identyczną treść. System near-duplicate (US9342849B2) wykryje identyczne atrybuty. Rozwiązanie: Jeden canonical URL z przekierowaniami 301 lub canonical tagiem na wariantach. Takie same dane strukturalne z identycznym SKU/GTIN na wszystkich ścieżkach.

Jak audytować sklep pod kątem duplikacji? Praktyczny przewodnik z przykładami

Poniżej pokazuję, jak krok po kroku zidentyfikować każdy z trzech typów duplikacji w sklepie internetowym. Przy każdym kroku podaję konkretne narzędzia, metryki i przykłady tego, co powinno wzbudzić niepokój.

Krok 1: Zidentyfikuj duplicate content (identyczna treść)

Narzędzie: Screaming Frog (zakładka Content > Exact Duplicates i Near Duplicates). Alternatywa: Sitebulb, Ahrefs Site Audit.

Co szukać: Strony z identycznym hashem treści (body content hash), ale różnymi URL-ami. Typowe wzorce w polskich sklepach:

URL A	URL B	Przyczyna duplikacji	Canonical?
/buty/nike-air-max-90/	/nike/air-max-90/	Produkt w dwóch ścieżkach kategorii	Często brakuje
/sukienki/	/sukienki/?page=1	Paginacja: strona 1 = strona bazowa	Rzadko ustawiony
/telewizory/	/telewizory?sort=default	Parametr sortowania z domyślną wartością	Powinien wskazywać na /telewizory/
/laptop-dell-xps-15/	/promocje/laptop-dell-xps-15/	Produkt w stałej ofercie i w promocji	Często brakuje

Weryfikacja w GSC: Indeksowanie > Strony > Wykluczone. Szukaj statusu „Duplikat – Google wybrał inny adres kanoniczny niż użytkownik.” Jeśli widzisz tam strony produktów – Google sam zdecydował, która wersja jest kanoniczna, bo Ty tego nie ustawiłeś.

Przykład z audytu: Sklep obuwniczy (anonimizowany) miał 4 200 produktów, ale 12 600 zaindeksowanych URL-i – bo każdy produkt był dostępny z trzech kategorii (np. /buty-meskie/, /obuwie-sportowe/, /nike/). Żaden z wariantów URL nie miał canonical tagu. Po wdrożeniu canonical na główną ścieżkę URL i 301 redirect z pozostałych, liczba zaindeksowanych stron spadła do 5 100, a średnia pozycja na zapytania produktowe wzrosła o 3,2 pozycji w ciągu 6 tygodni.

Krok 2: Znajdź near-duplicate produkty (podobne listingi)

Narzędzie: GSC > Wydajność > Filtr na zapytanie produktowe > Zakładka „Strony.”

Co szukać: Zapytania, na które rankuje 3 lub więcej URL-i z Twojego sklepu. To oznacza, że Google nie wie, który URL jest „prawdziwy” dla tego zapytania – i rozkłada widoczność między wiele stron zamiast skoncentrować ją na jednej.

Zapytanie	URL	Kliknięcia	Wyświetlenia	CTR	Problem
nike air max 90	/nike-air-max-90-bialy/	12	1 800	0,7%	Trzy warianty kolorystyczne kanibalizują się
nike air max 90	/nike-air-max-90-czarny/	8	1 200	0,7%
nike air max 90	/nike-air-max-90-czerwony/	3	600	0,5%

W tym przykładzie łączne kliknięcia to 23 rozłożone na 3 URL-e (średnio 7,7 na URL). Gdyby cały ruch szedł na jeden URL z prawidłowym ProductGroup, ten URL miałby 23 kliknięcia i prawdopodobnie wyższy CTR (bo wyższa pozycja = więcej kliknięć).

Co sprawdzić w danych strukturalnych:

• Czy warianty mają ProductGroup z productGroupID? Jeśli nie – Google musi sam dedukować relację.
• Czy w feedzie Merchant Center warianty mają wspólny item_group_id? Jeśli nie – w Google Shopping każdy wariant to „osobny produkt.”
• Czy warianty mają unikalne identyfikatory (GTIN, SKU)? Jeśli ten sam GTIN jest na trzech URL-ach – to exact duplicate w oczach systemu z patentu US9342849B2.

Krok 3: Wykryj duplicate intent (faceted navigation)

Narzędzie: Screaming Frog crawl z włączonymi parametrami URL. Alternatywa: log analysis z serwera.

Co szukać: URL-e z parametrami, które nie zmieniają zestawu produktów na stronie – tylko kolejność lub układ. To są query-specific duplicates z patentu US7779002B1.

Parametr	Zmienia zestaw produktów?	Rekomendacja
?sort=price-asc	Nie – te same produkty, inna kolejność	Canonical na wersję bazową lub noindex
?sort=popular	Nie	Canonical na wersję bazową lub noindex
?view=grid	Nie – ten sam zestaw, inny layout	Canonical na wersję bazową lub noindex
?marka=nike	Tak – filtruje do podzbioru	Może być indeksowany, jeśli podzbiór jest duży
?marka=nike&kolor=bialy	Tak – filtruje do mniejszego podzbioru	Noindex jeśli mniej niż 5-10 produktów
?marka=nike&kolor=bialy&rozmiar=42	Tak – często 0-1 produkt	Noindex lub blokuj w robots.txt

Prosta reguła: Im więcej filtrów w kombinacji, tym mniejszy podzbiór produktów – i tym większe ryzyko, że strona jest „thin content” (za mało treści) lub query-specific duplicate (ten sam produkt co na stronie bazowej, tyle że z dodatkowym nawigacyjnym „opakowaniem”).

Jak zmierzyć skalę problemu: W Screaming Frog ustaw crawl na pełną domenę z parametrami. Policz stosunek URL-i z parametrami do URL-i bazowych. Jeśli masz 5 000 produktów, ale 50 000 URL-i z parametrami – masz 10x więcej stron, niż potrzebujesz. Googlebot marnuje crawl budget na sortowania i widoki zamiast na Twoje produkty.

Krok 4: Sprawdź szablonowość opisów (phrase-based risk)

Narzędzie: Screaming Frog > zakładka Content > Near Duplicates (similarity threshold 80%+). Alternatywa: ręczne porównanie 10-20 opisów produktów z tej samej kategorii.

Test szablonowości: Otwórz 5 losowych kart produktów z jednej kategorii. Skopiuj opis każdego produktu do jednego dokumentu. Ile zdań jest identycznych lub niemal identycznych między produktami? Jeśli więcej niż 50% opisu to tekst szablonowy (powtórzony z innej karty z wymienioną nazwą) – masz problem z phrase-based near-duplicate detection.

Przykład szablonu (to co widzimy w 60-70% audytowanych sklepów):

Produkt: Nike Air Max 90
"Prezentujemy buty Nike Air Max 90 - idealne dla osób ceniących
wygodę i styl. Wykonane z najwyższej jakości materiałów.
Darmowa dostawa od 200 zł. 30 dni na zwrot."

Produkt: Nike Air Force 1
"Prezentujemy buty Nike Air Force 1 - idealne dla osób ceniących
wygodę i styl. Wykonane z najwyższej jakości materiałów.
Darmowa dostawa od 200 zł. 30 dni na zwrot."

System phrase-based detection (patent US7711679B2) buduje „document description” z najważniejszych zdań w dokumencie. Jeśli najważniejsze zdania na obu stronach są identyczne (bo to szablon), document descriptions też będą identyczne – mimo że nazwy produktów się różnią.

Wnioski: trzy warstwy, trzy podejścia

Duplikacja w e-commerce to nie jeden problem – to trzy problemy, które wymagają trzech różnych podejść:

• Duplicate content (identyczna treść) – rozwiązujesz canonical tagiem, konsolidacją URL-i i unikalnymi opisami. Patent US6658423B1 opisuje fingerprinting, który to wykrywa.
• Near-duplicate produkty (podobne listingi) – rozwiązujesz ProductGroup i danymi strukturalnymi, prawidłowym grupowaniem wariantów w feedzie. Patenty US9342849B2 i US9607331B2 opisują klastrowanie wg atrybutów.
• Duplicate intent (różne URL-e, ta sama intencja) – rozwiązujesz architekturą URL-i, zarządzaniem parametrami i kontrolą indeksacji. Patenty US7779002B1 i US6615209B1 opisują wykrywanie query-specific duplicates.

A phrase-based detection (US7711679B2, US8108412B2, US8489628B2) wykrywa szablonowość treści niezależnie od tego, czy strony są „technicznie” duplikatami. Jeśli 200 kart produktów ma ten sam szablon opisu, system może je traktować jako mniej unikalne.

Ten artykul jest czescia cyklu „SEO e-commerce w swietle patentow Google.” Pelna mape 74 patentow, dane z audytow 6 sklepow i checklisty do pobrania znajdziesz w kompletnej mapie 10 warstw SEO e-commerce.

To jest trzeci artykuł z cyklu „SEO e-commerce w świetle patentów Google.” Jeśli szukasz wsparcia w pozycjonowaniu sklepu internetowego lub potrzebujesz audytu SEO uwzględniającego analizę duplikacji – skontaktuj się z nami. W następnym artykule przeanalizuję visual product discovery: jak Google może rozpoznawać produkty po obrazie.

FAQ

Źródła

Patenty

1. US9342849B2 – „Near-duplicate filtering in search engine result page of an online shopping system.” Google LLC. patents.google.com/patent/US9342849

2. US9607331B2 – „Near-duplicate filtering in search engine result page of an online shopping system.” Google LLC (kontynuacja US9342849B2). patents.google.com/patent/US9607331

3. US7711679B2 – „Phrase-based detection of duplicate documents in an information retrieval system.” Google LLC, Anna L. Patterson. patents.google.com/patent/US7711679

4. US8108412B2 – „Phrase-based detection of duplicate documents in an information retrieval system.” Google LLC (kontynuacja US7711679B2). patents.google.com/patent/US8108412

5. US8489628B2 – „Phrase-based detection of duplicate documents in an information retrieval system.” Google LLC (kontynuacja US8108412B2). patents.google.com/patent/US8489628

6. US7779002B1 – „Detecting query-specific duplicate documents.” Google LLC, Benedict Gomes, Benjamin Thomas Smith. patents.google.com/patent/US7779002

7. US6615209B1 – „Detecting query-specific duplicate documents.” Google Inc (poprzednia wersja US7779002B1). patents.google.com/patent/US6615209

8. US20140280084A1 – „Using structured data for search result deduplication.” patents.google.com/patent/US20140280084A1

9. US6658423B1 – „Detecting duplicate and near-duplicate files.” Google Inc., Monika H. Henzinger. patents.google.com/patent/US6658423

Dokumentacja Google

10. Google Search Central – Unikaj tworzenia duplikatów treści. developers.google.com

11. Google Search Central – Crawl budget management. developers.google.com