Форум Поисковые системы Google

Гугл выдаёт страницы, которые закрыты в роботсе

azybat
На сайте с 20.07.2010
Offline
33
azybat
642

Здравствуйте. Есть сайт, на 100 процентов проиндексирован яндексом. Но в гугле плюс 100 страниц (теги и прочее). Если чекать site:site.ru, то пишет такое Описание веб-страницы недоступно из-за ограничений в файле robots.txt

Если он знает, что они закрыты в роботсе, зачем он их выводит? Как от них избавиться можно?

Спасибо

если делать так, <meta name="robots" content="noindex"> / <meta name="googlebot" content="noindex"> то как эти теги вставить конкретно в страницы с тегами? чтоб не перекрыть весь сайт

Развлекательный портал (http://2cool.ru/) ;) Быстрый вывод/обмен Webmoney (https://magnetic-exchange.net/?p=46282)
S7
На сайте с 21.07.2010
Offline
39
serge77
#1

Можно вручную отправить запрос на удаление этих страниц через gogle webmasters tools

L
На сайте с 07.12.2007
Offline
351
Ladycharm
#2

Да, Google держит в индексе страницы,закрытые в robots.txt. В основном, если на них есть внешние ссылки.

Это не страшно, забейте на это дело и ничего не делайте. Google сам разберётся с навигационными страницами, это же не Яндекс.

А, закрывая в <meta name="robots" content="noindex">, Вы запросто можете лишиться ссылочного с этих страниц.

Яндекс опубликовал методы управления Google не рекомендует закрывать Google не рекомендует добавлять
E
На сайте с 21.09.2009
Offline
283
easywind
#3
azybat:
Если он знает, что они закрыты в роботсе, зачем он их выводит?

А вдруг Вы незнаете, вот и предупреждает.

---------- Добавлено 18.08.2014 в 21:35 ----------

azybat:
Как от них избавиться можно?

метатегами Вашими <meta name="robots" content="noindex">

только нужно потом в роботс открыть, чтобы бот их прочитал. Хотя иногда долго читает :)

Файл robots. Закрыть ресурс Вопрос по метатегу meta Закрыл дубли страниц ,Какие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий