Google właśnie zapowiedziało wypuszczenie nowego bota, który będzie skanował Wasze strony internetowe. GoogleOther – bo tak będzie się nazywał nowy robot, będzie technicznie kopią Googlebota, ale będzie miał inne zadania.

Wyniki wyszukiwania Google to w dużym uproszczeniu efekt kalkulacji danych zebranych ze stron internetowych, które działają oczywiście na podstawie  zaawansowanych algorytmów. Brzmi dość lakonicznie, ale co do zasady idea jest dość prosta. Oczywiście, by takie kalkulacje zostały przygotowane, trzeba najpierw zgromadzić wszystkie niezbędne informacje o stronach internetowych, ocenić je, zaszeregować. To właściwie pierwszy i najważniejszy krok, który rozpoczyna cały proces. Właśnie za niego odpowiedzialne są boty skanujące całą sieć, które to Google napuszcza na nasze strony.

Jest kilka rodzajów tych botów w samym Google (skanowanie w kontekście wyników wyszukiwania, grafiki czy chociażby niusów), a teraz do zestawienia Google dorzuca kolejnego skanującego wojownika, który został nazwany jako GoogleOther. Nazwa zradza wszystko, bo nowy bot za główne zadanie będzie miał odciążenie Googlebota i skupieniu się na wszystkich dodatkowych/innych aktywnościach, poza skanowaniem stron internetowych w kontekście SERPów.

Zrzut ekranu 2023 04 21 o 10.08.35

Informacja o GoogleOther została udostępniona na Linkedin, przez jednego z analityków Google. Jako że nowy bot jest technologicznie wierną kopią Googlebota, sama jego obsługa przez właścicieli stron ma być realizowana w dokładnie taki sam sposób, jak poprzednika. W całości obsługujemy go poprzez robots.txt. Pojawiła się nawet wzmianka w dokumentacji (póki co tylko w języku angielskim, polska wersja dokumentacji nie została jeszcze zaktualizowana), do której analityk odesłał:

Zrzut ekranu 2023 04 21 o 10.10.13

Dla wszystkich nerdów: Jeśli chcecie sprawdzić, czy GoogleOther odwiedził Wasz serwis, wystarczy zajrzeć do logów serwera w poszukiwaniu nazwy bota.

Boty i robots.txt

Przy tej okazji warto pamiętać, że jako właściciele stron internetowych możecie wpłynąć na to, co i jak mają obsługiwać boty, a przynajmniej możecie im zasugerować. Służy do tego plik robots.txt, który udostępniamy w głównym katalogu stron internetowej, z której to boty pobierają instrukcje. Możecie wskazać dokładnie, które elementy mają, a które nie mają być indeksowane, w podziale nawet na nazwy botów.

Odsyłam do sprawnej instrukcji udostępnionej przez Google.