Google игнорирует robots.txt

Я этим закрываю от индексации страницы, но все равно иногда жрет их, но в серпе пишет в сниппете, что доступ закрыт в файле robots.txt

обычно и там, и там блочу, не всегда помогает

New Member, ок. Указанная страница проиндексированна? По запросу site:имя_страницы и_текст_с_нее находится в ПС?

Да, я даю команду не сканировать, но ведь страницу из индекса я удалил через вебмастер, т.е. е уже там не было, но она все равно появилась несмотря на запрет роботс.

В любом случае запрет через <meta name="robots" content="noindex">, на каждой странице, попадание которой в индекс нежелательно, для сайта на wordpress технически реализуется сложно. Я даже не знаю как.

trirepetae, Вы можете урл страницы + скрин удаления показать в ЛС?

реализуй - http://wordpress.org/extend/plugins/ultimate-noindex-nofollow-tool/ 😂

У документа условно можно выделить разные зоны. Так вот, гугл может знать о существовании данного урл, но не индексировать содержимое по данному адресу (по разным причинам). Т.е. по тексту страницы вы его не найдете (при условии отсутствии данного текста в анкор-листе). Соответственно, в серпе данный урл тоже может появится по некоторым запросам (в том числе поиск страниц сайта, или запрос есть в анкор-листе). По крайней мере, мне это видится так :)

Надуманная аналогия из жизни: вы сами лично ни разу не были в заведении "Барсучья нора", но при этом вы слышали, что в этом месте, которое расположено по такому-то адресу, каждую пятницу звучит лаундж и выступает группа "Мобидик". Поэтому, если Вас бы спросили, "Не подскажешь заведение, где в пятницу можно отдохнуть, и желательно там звучит лаундж, да и вообще мне мобидики нравятся" то вы бы ответили "Барсучья нора" :)

как вариант страница добавлена в сайтмап :)

Сайтмап, ссылки на самом сайте, сторонних ресурсах и т.д. Я хотел сказать, что запрет на индексирование содержимого не означает запрет на знание о существовании самого адреса :)

Спасибо конечно за разъяснение я не плохо разбираюсь в справках гугла как "ВУ" на форуме гугла :)

подтверждаю правоту easywind

страницы были закрыты <meta name="robots" content="noindex"> и в роботс но из индекса не выпадали. убрал блокировку из роботс - через 2 недели выпали. спасибо! (В ГУГЛЕ)