Jak pozbywam się dużej liczby podstron z serwisu?

Kiedy usuwam duże liczby podstron?

W pracy nad pozycjonowaniem od czasu do czasu trafiam na sytuację, w której muszę trochę “odchudzić” stronę. A przez odchudzenie rozumiem pozbycie się nadprogramowej liczby podstron, które przynoszą więcej szkody niż pożytku.

To może być efekt wirusa, który stworzył w ramach danej witryny wiele spamowych podstron.

Opcja druga: atak hakerski, którego powodem jest np. nieaktualizowana wtyczka. W obu przypadkach w naszym serwisie mogą pojawić się bliżej niezidentyfikowane adresy URL – często chińskiego pochodzenia, i to w tysiącach, a czasami nawet setkach tysięcy.

Nie muszę chyba mówić, że może to negatywnie wpłynąć na wyniki całej strony.

Ataki hakerskie czy działanie złośliwego oprogramowania to jeden z poważniejszych, ale nie jedynych scenariuszy.

Czasem trafiam na liczne duplikaty treści czy podstrony dawnych wersji językowych, które np. dublują się z polską wersją serwisu.

W takich sytuacjach często decyduję się na usunięcie tych niechcianych podstron.

Jak jednak zrobić to skutecznie, ale przede wszystkim – bezpiecznie? W końcu te podstrony już istnieją, Google często ma do nich dostęp, a samo usunięcie sprawi, że zyskamy nowy problem, czyli masowy wzrost podstron odpowiadających kodem 404.

Zanim omówię moje sposoby, chcę wyjaśnić, dlaczego warto likwidować szkodliwe adresy i czemu lepiej nie bagatelizować tego tematu.

Dlaczego usuwanie podstron może być konieczne?

Zawsze dbam o to, by roboty Google miały wgląd do określonych podstron – czyli do tych, które mają wartość dla użytkowników lub są kluczowe dla prawidłowego działania serwisu.

Z pewnością nie zaliczają się do nich strony spamowe, duplikaty czy podstrony, które po prostu obecnie nie działają (i wiem, że nie będą działać w przyszłości).

Takie niechciane podstrony warto usuwać jak najszybciej po ich wykryciu, bo mogą wywołać sporo problemów natury technicznej – ale nie tylko.

Pierwszym i chyba najbardziej oczywistym rezultatem jest potencjalny spadek pozycji serwisu w wynikach wyszukiwania.

Zaspamowana, zawirusowana strona raczej nie jest pozytywnie odbierana przez roboty Google, więc naturalną konsekwencją będzie mniejsza widoczność w SERP-ach i ogólnie problemy rankingowe.

Z tym wiąże się też kwestia zaburzenia budżetu indeksowania (crawl budget). Boty wyszukiwarki mogą wykorzystywać budżet do skanowania spamowych czy zdublowanych podstron zamiast tych, na których faktycznie nam zależy (np. podstron z opisami usług, podstron produktowych itd.).

Taka sytuacja może bardzo źle wpłynąć na indeksację. Nowe podstrony – mimo tego, że są wartościowe – nie trafiają wtedy do indeksu, bo Google nie ma tylu zasobów, by je odwiedzać.

Finalnie obrywa też wiarygodność całego serwisu oraz wizerunek firmy. Jak więc widać, kłopoty się mnożą.

Podejście na zasadzie “będzie, co ma być” albo machnięcie ręką w przypadku wykrycia potencjalnie szkodliwych podstron może nam się odbić czkawką – zdecydowanie nie polecam tak robić.

Jeśli widzę, że dana strona ma takie problemy, działam. Zawsze dążę do tego, by jak najszybciej je rozwiązać i nie narażać klienta na dalsze konsekwencje.

Problematyczne podstrony do usunięcia – jak je wykrywam?

Jest przynajmniej kilka miejsc, w których mogę sprawdzić, czy konkretny serwis nie ma problemów ze szkodliwymi podstronami.

Google Search Console

Pierwszym z nich jest Google Search Console, gdzie analizuję liczbę podstron zaindeksowanych i niezaindeksowanych oraz ich dynamikę wzrostu. Mogę też manualnie przejrzeć podstrony, które są ujęte w GSC.

Zwracam szczególną uwagę na podstrony, które nie powinny być wyświetlane w narzędziu – np. wersje językowe, z których nie korzystamy lub adresy URL składające się z chińskich znaków.

W GSC sprawdzam też statystyki indeksowania, w tym te podstrony, które Google ostatnio odwiedzało.

Komenda w wyszukiwarce

W samej wyszukiwarce Google mogę użyć komendy “site:” i sprawdzić, które podstrony w ramach badanej domeny są zaindeksowane.

Warto przejrzeć wiele podstron, gdyż prawdopodobnie na pierwszych pozycjach pojawią się prawidłowe podstrony. Dopiero na kolejnych trafimy na te problematyczne, o ile w ogóle one występują.

Mapa witryny

Kolejny sprawdzony patent to weryfikacja pliku sitemap.xml – czy nie ma tam problematycznych podstron lub zupełnie nowych sitemap, których nie tworzyłem.

Może się bowiem okazać, że dopiero w nich trafię na podejrzane URL-e.

W sitemap.xml powinny znajdować się te strony, do których roboty Google powinny mieć dostęp, i które po prostu są użyteczne dla odwiedzających witrynę.

Możemy mieć w niej również dodatkowe informacje, jak np. data ostatniej modyfikacji strony – to informacja, że daną stronę warto odwiedzić, jeżeli była aktualizowana.

Wszystko to sprawia, że sitemap.xml pomaga w indeksacji podstron, które się w niej znajdują.

I dlatego jeżeli ktoś stworzy dużą liczbę podstron w ramach naszej witryny, będzie chciał je tam dodać – właśnie po to, aby wspomóc ich szybkie indeksowanie.

Dodatkowe narzędzia

Wykorzystuję również zewnętrzne narzędzia takie jak Screaming Frog.

SF skanuje witrynę, odwiedzając kolejne podstrony. Możemy rozpocząć skanowanie np. od strony głównej, ale również od przeskanowania wspomnianej wcześniej sitemap.xml.

Jeżeli Screaming Frog trafi na podejrzane adresy URL, warto je zweryfikować – najprawdopodobniej mają do nich również dostęp roboty Google.

To świetne rozwiązanie, aby kompleksowo sprawdzić, jakie podstrony funkcjonują w ramach naszego serwisu. Dla każdej podstrony otrzymamy również wiele innych informacji, jak kod, jakim odpowiada strona, czy może być indeksowana i wiele więcej.

Wykorzystując te wszystkie metody, szukam podstron, które mogą być alarmujące – adresów URL w obcych językach, duplikatów, podstron zwracających 404, nieaktualnych wersji językowych itd.

Usuwać czy nie usuwać – oto jest pytanie

Wiele zależy od skali danego problemu. Jeżeli są to pojedyncze duplikaty czy kilka błędów 404, oczywiście się nimi zajmuję – ale nie jest to gaszenie poważnego pożaru.

Wyjątkiem są podstrony spamowe, tworzone bez naszego udziału. Jeżeli pojawi się ich choćby kilka, działam od razu – w ten sposób jestem w stanie szybko zatrzymać problem, zanim zdąży się pogorszyć.

Tutaj kluczowe jest nie tylko usunięcie podstron, ale przede wszystkim zlokalizowanie problemu i rozwiązanie go u podstaw, aby zablokować powstawanie nowych podstron tego typu.

Jeśli jednak widzę setki czy tysiące podstron ze zduplikowaną treścią, bez contentu czy z błędem 404, dążę do tego, żeby je definitywnie skasować.

Tak jak już wspomniałem – pozostawienie ich może wpłynąć m.in. na zaburzenie crawl budgetu, ale największym problemem mogą stać się po prostu realne spadki wartościowych podstron. To coś, czego zawsze chcę uniknąć – dlatego tutaj liczy się nie tylko skuteczność ale też szybkość działania.

Dotyczy to zwłaszcza sytuacji, w których mamy do czynienia z wirusem lub włamaniem na stronę – wtedy problemy mogą się szybko nawarstwiać, a nowe, spamowe podstrony mogą pojawiać się codziennie w różnych ilościach.

Kod odpowiedzi 410 – daję znać Google, co się dzieje

Rozwiązaniem, które pomaga mi w takich sytuacjach, jest kod odpowiedzi strony 410. Kluczowe jest, aby podstrony, których chcemy się pozbyć, odpowiadały właśnie nim (a nie np. 404, czyli informacją o tymczasowym braku zasobu).

Chociaż kody 4xx uważane są za błędy, 410 jest przede wszystkim jasną informacją dla Google, że cokolwiek się na danej podstronie znajdowało, zostało świadomie usunięte i już nie zostanie przywrócone.

Google może więc śmiało przestać odwiedzać daną witrynę i usunąć ją z indeksu.

Gdy pozbywamy się dużej liczby podstron, dodatkową opcją jest stworzenie nowego pliku sitemap.xml z listą wszystkich podstron, które otrzymały 410.

Nie jest to działanie obowiązkowe, ale jeżeli da się to zrobić szybko i w miarę prosto, nie waham się zbyt długo. Dzięki temu mam większą pewność, że Google szybko trafi na podstrony z 410 i zorientuje się, że zdecydowałem się je usunąć.

Czy wykonuję przekierowania?

Jedną z alternatyw dla masowego wykorzystania kodu 410 są przekierowania 301. Uważam, że warto postawić na nie w kilku przypadkach.

Dobrym przykładem jest sytuacja, gdy usuwamy podstrony, do których prowadzą wartościowe linki zewnętrzne.

Takie adresy warto przekierować do innych URL-i, najlepiej takich, które są najbardziej do nich zbliżone – dzięki temu nie stracimy ważnych odnośników.

Inne sytuacje to np. stworzenie nowych stron z inną strukturą adresów URL, które mają zastąpić poprzednie – wtedy warto przekierować stare podstrony na nowe.

Przekierowania przydają się wtedy, gdy wiemy, że dana podstrona ma linki wewnętrzne (np. z bloga czy opisów kategorii). Jeżeli ich nie wykonuję, pamiętam o poprawieniu linków wewnętrznych na aktualne.

Są jednak sytuacje, w których przekierowania zdecydowanie odradzam. Mowa m.in. o chińskim spamie.

Jeżeli takie podstrony u nas powstały, jest duża szansa na to, że w ich adresach URL znajdują się losowe frazy – nie chcemy, żeby były one kojarzone z naszą witryną.

Co więcej, podstrony te mogą być (i często są) linkowane zewnętrznie z innych spamowych stron, ponieważ to wspiera i przyspiesza ich indeksowanie.

Gdybym zdecydował się wykonać przekierowanie, przeniósłbym ruch ze spamowych linków do wartościowych podstron – a tego absolutnie nie chcę robić.

Blokady – co robię, aby stron nie przybywało

To temat na osobny artykuł, jednak trzeba pamiętać o tym, że ustawienie 410 to tylko częściowe rozwiązanie sprawy.

Skutecznie pozbywamy się podstron, które były problematyczne – to super, ale warto mieć na uwadze, że tych stron cały czas może przybywać.

Nie dotyczy to sytuacji, gdy usuwaliśmy zduplikowane treści czy stare, nieużywane wersje językowe – tutaj problem powinien się rozwiązać od razu bez większych trudności.

Jeżeli jednak widzę, że w witrynie regularnie przybywa 404 – sprawdzam, jakie jest źródło tego problemu, skąd biorą się nowe podstrony i jak mogę zatrzymać ten proces.

Najczarniejszym scenariuszem są sytuacje związane z włamaniem lub zawirusowaniem. Wtedy trzeba zadbać o kompleksowe bezpieczeństwo całego serwisu poprzez m.in.:

• instalację dodatkowych wtyczek, które zadbają o ochronę WordPressa;
• zaktualizowanie obecnie wykorzystywanych wtyczek;
• analizę logów, co pomaga w wykonaniu odpowiednich blokad;
• wykorzystanie Cloudflare, który umożliwia ochronę przed botami czy blokadę ruchu z konkretnego kraju (np. Chin);
• zablokowanie zapytań ?s= na WP;
• modyfikacje w pliku .htaccess, np. zablokowanie konkretnych fraz w zapytaniach (przy schematycznych podstronach spamowych), blokada podejrzanych user-agentów lub konkretnych IP.

Oczywiście to tylko przykładowe działania. Każda sytuacja może wymagać nieco innego podejścia, a kolejne kroki zawsze warto dokładnie przemyśleć.

W przypadku problemów z bezpieczeństwem zawsze warto skontaktować się z osobą aktualnie odpowiedzialną za nasz serwis lub z agencją SEO, jeżeli taka nas obsługuje.

W obu przypadkach można liczyć na wsparcie w tym zakresie i przygotowanie rozwiązań, które będą optymalne dla konkretnego problemu.

Podsumowanie w punktach

1. Do powstania nadprogramowej liczby podstron może dojść np. w wyniku ataków hakerskich, spamu, ale także w przypadku zduplikowania różnych wersji językowych serwisu – wówczas warto je jak najszybciej usunąć.
2. Spamowe lub zduplikowane podstrony liczone w setkach czy tysiącach mogą mieć poważne konsekwencje dla pozycji całej witryny i jej reputacji i często prowadzą do problemów z prawidłowym indeksowaniem.
3. Do wykrycia potencjalnie szkodliwych podstron wykorzystuję Google Search Console, mapę witryny, komendę “site:” w wyszukiwarce oraz zewnętrzne narzędzia jak Screaming Frog.
4. Najpewniejszym według mnie sposobem na usunięcie niechcianych podstron jest wykorzystanie kodu odpowiedzi 410, który informuje Google o trwałym usunięciu zawartości podstrony.
5. Czasami stosuję również przekierowania 301 – m.in. wtedy, gdy do danej podstrony prowadzą wartościowe linki, których nie chcę tracić.
6. Jeśli mam do czynienia z ewidentnym spamem, nie używam przekierowań, tylko trwale kasuję podstrony.
7. Usunięcie szkodliwych podstron jest konieczne, ale często nie jest ostatecznym rozwiązaniem problemu – jeśli w obrębie serwisu cały czas pojawiają się nowe strony, sprawdzam, z czego może to wynikać.
8. Najwięcej problemów przysparzają ataki hakerskie oraz przypadki zawirusowania strony – wtedy warto kompleksowo podejść do tematu zabezpieczeń witryny, m.in. instalując wtyczki, modyfikując plik .htaccess lub korzystając z Cloudflare.