Účinně od prvního září přestane Google podporovat nepodporované a nezveřejněné pravidla v protokolu vyčlenění botů, což společnost oznámila na svém Google Webmaster blogu. To znamená, že Google již déle nebude podporovat robots.txt soubory s noindex příkazy, které jsou uvedeny v daném souboru.

„V zájmu udržování zdravého ekosystému a přípravy na potenciální budoucí open-source zveřejnění právě nyní přestáváme podporovat všechen kód, který v sobě zahrnuje nepodporované a nezveřejněné pravidla (například právě noindex) a to od 1. září 2019. Pro ty z vás, kteří spoléhají na noindex příkaz k indexaci ve vašem robots.txt souboru, který kontroluje procházení, je tu velký počet alternativních možností,“ uvedla společnost.

Jaké jsou tedy alternativy?

Google vypsal následující možnosti, ty, které byste pravděpodobně měli používat:

1. Noindex v robots meta tagu: Podporovaný jak v http titulcích, tak v HTML, noindex příkaz je tou nejefektivnější cestou, jak vlastně odstranit URL adresy z indexu, když je povoleno procházení.
2. 404 a 410 HTTP statusové kódy: oba dva statusové kódy znamenají, že daná webová stránka neexistuje, což odstraní tyto URL adresy z Google indexu, jakmile se k nim procházeč dostane a jsou zpracovány.
3. Ochrana heslem: Pakliže není používán markup k indikaci předplatného nebo placeného obsahu, skrytí stránky za login ji obecně odstraní z Google Indexu.
4. Zakázání v robots.txt: internetové vyhledávače mohou indexovat pouze ty webové stránky, o kterých ví, takže blokování webové stránky v procházení často znamená, že její obsah nebude indexován. Zatímco internetové vyhledávače mohou také indexovat URL adresu na základě odkazů z jiných stránek, aniž by viděly obsah, snažíme se učinit takové stránky méně viditelné v budoucnosti.
5. Nástroj pro odstranění URL v Google Search Console: tento nástroj představuje velice rychlou a jednoduchou metodu, jak odstranit URL adresu z Google výsledků vyhledávání.

Stává se standardem

Včera Google oznámil, že společnost pracuje na učinění protokolu vyčlenění botů standardem a tohle je pravděpodobně první změna, která přichází. Dokonce Google zveřejnil jejich robots.txt analyzátor jako open-source projekt spolu s jeho včerejším oznámením.

Proč se vlastně Google mění právě teď.

Google se chystal na tuto změnu už několik let a spolu se standardizací protokolu se nyní může pohnout dopředu. Google uvedl, že bude „analyzovat použití pravidel robots.txt.“ Google se zaměřuje na hledání nepodporovaných implementací internetového náčrtu, jako například zpoždění procházení, nofollow a noindex. „Neboť tyto pravidla nikdy nebyly dokumentovány společností Google, přirozeně, jejich použití ve vztahu k Googlebotovi je velice vzácné,“ uvedl Google. „Tyto chyby zraňují přítomnost webové stránky v Google výsledcích vyhledávání způsobem, o kterém víme, že správci webů nezamýšleli.“

Proč nás to zajímá.

Nejdůležitější věcí je ujistit se, že nepoužíváte noindex příkaz ve vašem souboru robots.txt. Pokud jej používáte, musíte učinit navrhované změny ještě před prvním zářím. Také se podívejte, jestli náhodou používáte nofollow nebo příkaz pro zpoždění procházení (crawl-delay) a pokud ano, použijte ty pravé podporované metody pro tyto příkazy.