Google Indexing API - testy i własna aplikacja

Czym jest Indexing API od Google, kiedy i do czego można go użyć (i czy warto) oraz jak to zrobić? Na te pytania odpowiem w tym artykule, obalając na początku kilka mitów i pokazując, jak wykorzystujemy Indexing API w Top Online (część 1). Pokażę Ci też wyniki naszych firmowych testów (część 2), a na koniec podzielę się specjalnie przygotowaną dla Ciebie apką (część 3).

Spis treści:

1. Google Indexing API - czym jest, do czego służy?
2. Indexing API w naszej firmie
3. Nasze testy
4. Aplikacja specjalnie dla Ciebie
5. Przygotowanie środowiska
6. Instalacja i konfiguracja apki
7. Jak tego używać?
8. Podsumowując

Google Indexing API - czym jest, do czego służy?

Na początek odrobina najważniejszej teorii. Obalę też kilka mitów oraz opowiem Ci jak i do czego wykorzystujemy API od Google w naszej firmie.

Krótko i na temat: według oficjalnych informacji Indexing API to interfejs, który umożliwia właścicielowi witryny powiadomienie Google o dodaniu lub usunięciu strony… Jakiej strony? Jak się okazuje, nie każdej!

Na chwilę obecną interfejsu można używać tylko do indeksowania podstron zawierających oferty pracy lub transmisje wideo. W każdym razie tak oficjalnie mówi dokumentacja, bo nieoficjalnie krążą słuchy, że API indeksuje praktycznie wszystko. A jak jest naprawdę? Tego dowiesz się w drugiej części artykułu.

Jedno jest jednak jasne: Google chce dać możliwość szybkiej indeksacji stronom o krótkim “okresie przydatności”. Takim, które pojawiają się dość często, ale i stosunkowo szybko znikają. Oferta pracy może zostać zdjęta po kilku dniach, a indeksowanie coraz to popularniejszych transmisji na żywo traci cały sens po wydarzeniu.

Limity, płatności, wymagania

Indexing API jest darmowe. Żeby jednak nie było tak kolorowo, Google nałożyło na swój interfejs limit i na razie nie ma żadnego sposobu na to, by go zwiększyć. Jeden użytkownik może zgłosić 200 adresów URL na 24h.

Ale spokojnie… z naszych obserwacji wynika, że jest to w zupełności wystarczające. Szczególnie że można zastosować kolejkowanie zgłoszeń, dzięki czemu limit nie przeszkadza w codziennej pracy, ale o tym niżej.

Mapa strony

Na oficjalnej stronie dot. Indexing API możemy jeszcze zobaczyć uwagę odnośnie mapy strony. Google nadal zaleca korzystanie z plików sitemap, ich systematyczne aktualizowanie oraz zgłoszenia w Google Search Console. Zgodnie z tym, adresy, które są zgłaszane do indeksacji poprzez API, powinny znaleźć się również w mapach witryn.

Problemy z indeksowaniem

Zainteresowanie interfejsem bardzo mocno wzrosło w obliczu problemów z indeksowaniem, z którymi to Google boryka się już od wielu miesięcy. Wokół tego tematu narosło mnóstwo przypuszczeń i teorii, ale nie chcę tu powtarzać plotek.

Póki co faktem jest tylko to, że coś tam ewidentnie, już od dłuższego czasu, mocno niedomaga. W efekcie więc sporo osób, w poszukiwaniu rozwiązania, zaczęło testować Indexing API oraz IndexNow. Obie te metody przetestowaliśmy i my.

Dzisiaj poruszamy tylko API od Google, ale jeżeli interesuje Cię również wiedza na temat IndexNow, dołącz koniecznie do naszej grupy SEO Samodzielni oraz newslettera. To właśnie tam informujemy naszą społeczność o nowych narzędziach, testach i ciekawych artykułach.

Indexing API w naszej firmie

Jak już wiele osób doskonale wie, jesteśmy najbardziej zautomatyzowaną agencją SEO w Polsce. Staramy się automatyzować wszystkie powtarzalne czynności. Nie wyobrażam sobie więc, że do testowania Indexing API i IndexNow nie stworzylibyśmy specjalnego narzędzia. Tym bardziej że potencjalnie mogło ono rozwiązać problemy niektórych naszych Klientów lub po prostu skrócić czas indeksowania ważnych dla nich podstron.

W taki sposób powstało proste narzędzie w naszym SEO Laboratorium :)

Rozwiązania działa z grubsza tak: Wpisujemy listę adresów URL, które chcemy przesłać do indeksowania, a następnie oznaczamy jednego z naszych Klientów. Następnie informacje te zapisujemy w bazie danych, a dokładniej w kolejce.

Kolejkowanie stosujemy ze względu na limit dzienny API (200 zgłoszeń). Nasza apka wykrywa, czy limit został już osiągnięty. Jeżeli tak, to zatrzymuje wysyłanie żądań i wznawia je dopiero za jakiś czas, ponownie sprawdzając limit.

Dzięki temu rozwiązaniu, w razie takiej potrzeby, mamy gwarancję wykorzystania limitu pełnego żądań każdego dnia. Jednocześnie specjalista tylko raz dodaje adresy URL i może spokojnie wykonywać swoje pozostałe obowiązki, bo reszta dzieje się już automatycznie.

Dzięki połączeniu z Klientem wszystkie nasze zgłoszenia mogą automatycznie trafiać np. do raportów, które generujemy każdego miesiąca. Możemy też wysłać odpowiednie powiadomienia do specjalisty SEO zajmującego się daną stroną, czy wyświetlać wszystkie wysłane do tej pory żądania w karcie Klienta - w naszym panelu administracyjnym.

Mamy już pomysł na zautomatyzowanie tego procesu w jeszcze większym stopniu, ale nigdy nie wykonujemy pełnych automatyzacji bez wcześniejszego, wielokrotnego testowania rozwiązań. I w taki oto sposób przechodzimy płynnie do naszych testów.

Więcej na temat automatyzacji przeczytasz w moim artykule: Automatyzacja powtarzalnych czynności oraz na podstronie IGNAS’ia.

Nasze testy

Czas na wyniki testów Google Indexing API, które przeprowadziliśmy w firmie. Kilku z naszych Klientów miało przewlekłe problemy z indeksowaniem podstron. Nie tylko nowych, bo i nawet tych już istniejących bardzo długo. Celem testów było sprawdzenie, czy użycie Indexing API wniesie w takiej sytuacji coś więcej niż ręczne zgłoszenie prośby o zaindeksowanie w Google Search Console.

Wcześniej próbowaliśmy właściwie wszystkiego. Każdy adres URL, którego dotyczył problem, był w mapach stron. Mapy wszystkich serwisów były z kolei zgłoszone w Google Search Console. Poprzez GSC zgłaszaliśmy też wszystkie adresy URL ręcznie. Do praktycznie wszystkich linkowaliśmy również wewnętrznie i zewnętrznie.

Tygodnie mijały, a mimo tych starań adresów nadal nie było w wyszukiwarce. Postanowiliśmy więc, że te kilka serwisów zostanie przetestowanych jako pierwsze.

Poniższy wykres przedstawia serwis Klienta, który miał problem z indeksowaniem niektórych artykułów blogowych. Zgłoszenia wysłaliśmy 20-go, a Google uwzględnił nasze prośby jeszcze tego samego dnia. Jak widać niżej, ilość zaindeksowanych podstron zwiększyła się z 70 do 86.

Poniżej jeden z najtrudniejszych przypadków, jakie ostatnio mieliśmy w Top Online. Pomimo wielotygodniowej walki praktycznie większość sklepu nie chciała się zaindeksować. Wysłaliśmy więc zgłoszenie składające się z 199 adresów URL dnia 19.07. Następnego dnia ilość zaindeksowanych podstron zwiększyła się z 27 do 228 (!).

Kolejny ciekawy przykład. Świeża strona, którą Google skutecznie omijał przez prawie miesiąc. Żądanie składające się z 25 adresów URL wysłaliśmy dnia 1.08. Dwa dni później w Search Console widać było już skok zaindeksowanych podstron z 1 do 26.

Poniżej wstawiam jeszcze parę screenów z pozostałych testów, już bez większego rozpisywania się nad ich historią. Myślę, że wszelkie wątpliwości odnośnie skuteczności Indexing API zostały już rozwiane. Dodam tylko, że wszystkie zgłaszane przez nas podstrony z jakiegoś powodu miały wcześniej problem z indeksacją.

Test nr 4:
Data zgłoszenia: 2.08
Liczba przesłanych adresów URL: 16
Data zaindeksowania: 3.08
Wzrost ilości zaindeksowanych podstron z 230 na 244.

Test nr 5:
Data zgłoszenia: 26.07
Liczba przesłanych adresów URL: 66
Data zaindeksowania: 27.07
Wzrost ilości zaindeksowanych podstron z 372 na 429.

Test nr 7:
Data zgłoszenia: 31.07
Liczba przesłanych adresów URL: 15 (część była już zaindeksowana)
Data zaindeksowania: 31.07
Wzrost ilości zaindeksowanych podstron z 17 na 24.

Test nr 8:
Data zgłoszenia: 28.07
Liczba przesłanych adresów URL: 25
Data zaindeksowania: 27.07 (najprawdopodobniej bug wynikający z różnicy stref czasowych)
Wzrost ilości zaindeksowanych podstron z 13 na 30.

Wnioski z testów były oczywiste. Pomimo że interfejs jest przeznaczony głównie dla podstron z ofertami pracy czy też broadcastingiem, działa doskonale na zgłaszane przez nas strony i zdecydowanie pomaga naszym Klientom (i nam).

Pamiętajmy jednak, że to nie jest jakaś magiczna maszynka do wbijania fraz w TOP1. Indexing API polecam traktować wyłącznie jako narzędzie, które można wykorzystać w przypadku problemów z indeksowaniem, serwisów z newsami czy wszelkich innych treści, które szybko tracą na aktualności.

Aplikacja specjalnie dla Ciebie

Na koniec, zgodnie z obietnicą, podzielę się z Tobą małą apką, którą przygotowałem specjalnie na potrzeby tego artykułu (czytaj: specjalnie dla Ciebie :) ). Dzięki niej będziesz w stanie samodzielnie zacząć wykorzystywać Indexing API.

Nie jest ona rozwiązaniem typu “plug and play”, ale spokojnie. Postarałem się, żeby dał sobie z nią radę dosłownie każdy (niezależnie od poziomu wiedzy). Poniżej opisuję krok po kroku, jak przygotować środowisko aplikacyjne, jak przeprowadzić instalację i konfigurację aplikacji oraz ostatecznie, jak z niej korzystać.

Przygotowanie środowiska

Wszystkie aplikacje tworzę w oparciu o Node.js oraz Sails.js. W tym przypadku nie było inaczej. Do uruchomienia mojej apki musisz mieć więc zainstalowane na komputerze:

• Node.js,
• NPM (aby zainstalować biblioteki),
• GIT (żeby wygodnie pobrać kod źródłowy aplikacji),
• Terminal (do wpisywania komend).

Dawno tego nie robiłem, ale spróbuję wskazać Ci najszybszą ścieżkę do instalacji tych elementów. Nie powinno Ci to zająć więcej niż 5 minut.

1. Node.js i NPM pobierzesz tutaj. Wybierz swój system operacyjny i pobierz najnowszą wersję instalatora, a następnie postępuj zgodnie z wytycznymi.

   Zainstalowane? Świetnie. Teraz sprawdźmy, czy poprawnie :) Odpal terminal (w Windows wiersz poleceń) i wpisz kolejno:

   node -v
npm -v

   W odpowiedzi na każdą z tych komend powinieneś uzyskać informacje o wersji. Jeśli tak się stanie - wszystko gra.

2. Teraz zainstalujmy GIT’a. Na macu, w terminalu wystarczy wpisać: git --version. Jeżeli nie zostanie wykryty, system powinien zapytać Cię o instalację.

   W przypadku Windowsa instalator pobierzesz tutaj lub tutaj (razem z Git BASH).

3. Terminal / Wiersz poleceń. Ja korzystam z maca, więc używam po prostu terminala. W przypadku Windowsa do dalszych kroków powinien wystarczyć zwykły wiersz poleceń lub Git BASH.

Instalacja i konfiguracja apki

Kod źródłowy apki udostępniłem na GitHubie > czyli tutaj. Możesz śmiało sprawdzić kod. Jest bardzo prosty.

1. Żeby pobrać apkę, otwórz terminal (wiersz poleceń), przejdź do katalogu, w którym chcesz umieścić kod źródłowy aplikacji i wpisz komendę

   git clone https://github.com/toponline/indexing.git

   npm install sails -g

   npm install

   Uwaga. Podczas instalacji bardzo ważne jest, żebyś miał odpowiednie uprawnienia (odczytu, zapisu). Może być konieczne wykonanie polecenia: sudo chown -R $USER /usr/local

2. Świetnie! Apka pobrana. Ostatnim krokiem będzie uzupełnienie trzech stałych zmiennych (google_api_key, google_client_id oraz google_clinet_secret) w pliku /config/globals.js.

   Jak sama nazwa zmiennych wskazuje, są to wymagane przez Google dane uwierzytelniające, takie jak Klucz API. Jeżeli ich jeszcze nie posiadasz, musisz wykonać kilka dodatkowych kroków (założyć projekt w Google Cloud), które opisuję poniżej.

Instrukcja tekstowa:

1. Wchodzimy na Google Cloud. Jeżeli odwiedzasz to miejsce po raz pierwszy, zaakceptuj wymagane zgody.
2. Klikamy Zarządzanie Zasobami w lewym menu.
3. Klikamy Create Project i podajemy nazwę projektu. Czekamy, aż projekt zostanie utworzony. Gdy to nastąpi, klikamy Wybierz projekt. Zostaniemy przekierowani do panelu zarządzania projektem.
4. Klikamy Interfejsy API i usługi, a następnie w górnej części przycisk Włącz interfejsy API i usługi i wyszukujemy Indexing API. Klikamy w znaleziony interfejs i klikamy niebieski przycisk Włącz.
5. Teraz w lewym menu przechodzimy do Dane logowania, żeby wygenerować te właściwe dane.
6. Klikamy Create Credentials i wybieramy Klucz interfejsu API. Świetnie. Możemy już skopiować wygenerowany klucz i zapisać w naszej aplikacji, w pliku config/globals.js
7. Ponownie klikamy Create Credentials, ale tym razem wybieramy Utwórz identyfikator klienta OAuth. Podejrzewam, że pojawi się komunikat “Aby utworzyć identyfikator klienta OAuth, musisz najpierw skonfigurować swój ekran zgody”, więc robimy to, klikając niebieski przycisk Skonfiguruj ekran zgody. Podczas konfiguracji wybieramy dostęp “Wewnętrzny” - czyli tylko dla użytkowników Twojej organizacji, dzięki czemu nie musimy przesyłać aplikacji do weryfikacji. Klikamy Utwórz. W drugim kroku wypełniamy tylko niezbędne pola. W kroku trzecim nie musimy wybierać żadnych zakresów i możemy śmiało kliknąć Zapisz i kontynuuj, a później Powrót do panelu. Prawie koniec!
8. Wracamy do Dane logowania i klikamy Create Credentials, aby ponownie wybrać Utwórz identyfikator klienta OAuth. Wystarczy wybrać typ aplikacji (Aplikacja internetowa), podać nazwę, URL aplikacji, czyli http://localhost:1337 oraz URL przekierowania, czyli http://localhost:1337/google/token.
9. Uzyskane dane możemy w końcu umieścić w naszej aplikacji, w pliku /config/globals.js.



3. Jeżeli wszystko zostało zrobione, możesz śmiało uruchomić aplikację, wpisując w terminalu / wierszu poleceń (oczywiście musisz być w katalogu aplikacji): sails lift. Zapamiętaj to polecenie, bo będzie Ci zawsze służyło do uruchomienia aplikacji.

4. Jeżeli aplikacja się uruchomiła, wystarczy, że wpiszesz w swojej przeglądarce adres http://localhost:1337/

   Działa? Świetnie! Zapamiętaj ten adres, bo właśnie tam będzie dostępna Twoja apka do szybkiego indeksowania stron w wyszukiwarkach.

Jakiś problem? :)

Pamiętaj, jeżeli masz jakiś problem, znajdziesz mnie w społeczności SEO Samodzielni. Możesz tam śmiało pisać i pytać. Z chęcią podpowiem.

Jak tego używać?

Po uruchomieniu aplikacja poprosi Cię o wygenerowanie tokenu, czyli po prostu przydzielenie dostępu do Google Search Console dla Twojej aplikacji. Dzięki temu będziesz mieć możliwość zgłaszania adresów URL wszystkich stron, których jesteś właścicielem.

Token zapisywany jest w zmiennych sesyjnych.

Jeżeli apka jest już uwierzytelniona, pokaże się formularz, w którym możesz śmiało wpisać swoje adresy URL. URLe muszą być oddzielone enterami.

Po zatwierdzeniu formularza pokaże się lista przesłanych adresów wraz ze statusem. Aplikacja wysyła adres po adresie i zwraca status. Jeżeli zwrócony status to 200, pojawi się niebieska ikonka. Jeżeli wystąpi błąd, aplikacja powinna wyświetlić czerwoną ikonkę, a w nawiasie dodany zostanie kod błędu.

Jeżeli wyczerpiesz swój dzienny limit, pojawi się kod błędu 429. Odpuść wtedy indeksowanie na co najmniej kilka godzin :)

Na sam koniec zostawiam Ci jeszcze jeden filmik, tym razem już z naszą apką w akcji (przykład użycia krok po kroku):

Podsumowując:

1. Indexing API to interfejs pozwalający dać znać Google o dodaniu lub usunięciu podstron z ofertami pracy, lub transmisjami live.
2. Indexing API jest darmowe, ale posiada stały i niemożliwy do zwiększenia limit 200 zgłaszanych adresów na 24 godziny.
3. Zainteresowanie interfejsem wzrosło w obliczu problemów Google z indeksowaniem, z którymi boryka się wiele stron - tak zainteresowaliśmy się i my.
4. Do przetestowania Indexing API stworzyliśmy specjalne narzędzie, które pozwala nam kolejkować zgłoszenia (dzięki temu nie musimy pilnować ręcznie limitu).
5. Same testy przeprowadziliśmy z kolei po to, żeby sprawdzić, czy użycie API da coś więcej niż ręczne wysłanie prośby w GSC.
6. Wyniki mówią same za siebie: Indexing API działa zaskakująco skutecznie, a zgłoszone adresy są indeksowane wyjątkowo szybko.
7. Postanowiłem więc, że się tym z Tobą podzielę, a dodatkowo, stworzyłem apkę, która pozwoli Ci na samodzielne korzystanie z API.
8. Ostrzegam jednak: Indexing API od Google najlepiej traktować wyłącznie jako lek na długotrwałe problemy z indeksowaniem.