Google игнорирует файл robots?

гугл официально заявляет, что надо в meta страницы закрывать индексацию, иначе нет гарантии, что робот ее не проиндексирует. И он реально индексирует то, что в роботсе запрещено.

Помогает только <meta name="robots" content="noindex, nofollow" />

p.s. ссылку на источник не дам - не помню

Гугл вообще странный парень, хочу смотрю в роботс, хочу не смотрю. Сначала все что можно захаваю, а потом подумаю, может что и выплюну.

только порой это очень сложно реализовать технически...

в robots.txt прописано Disallow: /tag/ , яндекс не ставит данные страницы в индекс, гугл полностью игнорирует данный запрет.