Гугл красавчик, индексирует запрет

Они где-то у себя писали в хелпе, что запрет в роботс не всегда работает, и что если хотите чтоб старница наверняка не индексировалась то пишите в мета noindex. Тогда, типа, робот не будет ее трогать и не заносить в индекс.

Получается, что гугл говорит пользователям поиска, что ему запрещали индексировать эту страницу, но раз им надо, то он ее покажет. )

(шутка) Сноуден сказал, что скоро еще в выдаче кнопочка будет напротив таких страниц - "все равно посмотреть, хоть и запрещено!" :)

если на страницы есть ссылки, то и робот гугла узнает о таких страницах

Бот гугла в отличие от яндекса лезит везде без спроса и индексирует всё, чисто на всякий случай 🤣

https://support.google.com/webmasters/answer/156449

А google о свое robots хорошо позаботился ))

http://www.google.com/robots.txt

метатеги запрещающие индексацию в коде страниц установите и будет вам счастье 🤪

я как то полгода назад в wmt поставил запрет на сайт (удалить из индекса). .. из индекса он вышел буквально в течении суток. Но сам сайт так и остался висеть в папке - все руки не доходили.. а в январе смотрю - есть траф с гугла и весь сайт снова в индексе :) чудеса

Может вы поставили запрет, когда он уже проиндексировал?

Бывало такое. Потом при повторном заходе он уже писал, что нельзя смотреть из-за запрета в роботсе, но всё равно в выдаче оставлял.