Форум Поисковые системы Google

Google игнорирует robots.txt. Сайт индексируется, не смотря на запрет.

E
На сайте с 16.05.2011
Offline
6
Elementarno
1476

Не смотря на директиву в robots.txt вида

User-agent: Googlebot

Disallow: /

User-agent: *

Disallow: /

сайт индексируется, и с каждым днем количество страниц в индексе увеличивается.

На страницах отсутствует метатег meta name="Robots", внешних ссылок на данный сайт нет.

Существует ли способ гарантированно на 100% закрыть весь сайт от индексации?

S
На сайте с 25.12.2003
Offline
173
Saney
#1

Надо добавить на всех страницах сайта

<meta name="robots" content="noindex,nofollow" />

Красивые сниппеты Google ( https://saney.com/tools/google-snippets-generator.html )
E
На сайте с 16.05.2011
Offline
6
Elementarno
#2

Saney, это решит проблему уже попавших в индекс страниц? После этого планируется открыть сайт только для яндекс-бота, а он учитывает эти указания http://help.yandex.ru/webmaster/?id=1111858

S
На сайте с 25.12.2003
Offline
173
Saney
#3

1. Значит, нужно закрыть только для робота google в robots.txt

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=93710&from=61050&rd=1

User-agent: Googlebot

Disallow: /

2. Добавить сайт в Google Webmasters, и запросить удаление сайта.

https://www.google.com/support/webmasters/bin/answer.py?answer=59819&hl=ru

E
На сайте с 16.05.2011
Offline
6
Elementarno
#4
Saney:
1. Значит, нужно закрыть только для робота google в robots.txt
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=93710&from=61050&rd=1
User-agent: Googlebot
Disallow: /
2. Добавить сайт в Google Webmasters, и запросить удаление сайта.
https://www.google.com/support/webmasters/bin/answer.py?answer=59819&hl=ru

Спасибо за помощь.

[Удален]
#5

Нужно действовать по первому ответе в теме, он точно поможет.

богоносец
На сайте с 30.01.2007
Offline
769
богоносец
#6

/ru/forum/674920

При наличии метатега noindex на странице Google исключает всю страницу из наших результатов поиска, даже если на нее ссылаются другие страницы. Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании. (Чтобы ускорить удаление, используйте инструмент Удалить URL-адреса в Инструментах Google для веб-мастеров.) Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.

Чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что робот Googlebot не увидит и не отреагирует на метатег noindex (например, если мы не сканировали страницу после добавления этого тега).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий