Robots для Гугла

Комби-корм
На сайте с 02.07.2008
Offline
119
575

Сделал роботс, чтобы гугл не индексировал сайт, а он всё равно индексирует и с каждым днём всё больше страниц в индексе.

User-agent: Googlebot
Disallow: /

Что я сделал не так?

angr
На сайте с 11.05.2006
Offline
413
#1

попробуйте так:

User-agent: Googlebot*

Disallow: /

Требуется СЕО-Специалист в Кишиневе, в офис. (/ru/forum/638005)
Комби-корм
На сайте с 02.07.2008
Offline
119
#2

Причём я потом зашёл в панель сайтов гугла и проверил действие моего правила. Оно правильно работает, т.е. запрещены страницы к индексации.

А ещё самое странное, что титлы в поиске гугла не совпадают с моими, и вообще таких слов нет на моём сайте.

Выдаёт что-то типа: "Бла-бла - Поиск книг в интернет-магазинах". И без сохранённой копии.

1ncom1ng
На сайте с 24.03.2009
Offline
166
#3

User-agent: Adsbot-Google

Disallow: /

User-agent: Googlebot

Disallow: /

User-agent: Mediapartners-Google

Disallow: /

Добавьте, попробуйте...

Кто-то делает зло. Кто-то делает добро. А Я придумываю для этого упаковку. ► SEO/UX Аудиты, White/Black Hat стратегии для серьёзных проектов ◀ Follow @1ncom1ng ( http://twitter.com/@1ncom1ng ) and enjoy the growthhacking (:
angr
На сайте с 11.05.2006
Offline
413
#4

1ncom1ng, тогда уж лучше одной строкой:

User-agent: *Google*

1ncom1ng
На сайте с 24.03.2009
Offline
166
#5

Спасибо, не знал про такой синтаксис...у меня, например, при подобной задаче отрабатывался только так 🚬

donty
На сайте с 17.01.2011
Offline
76
#6

У меня почти такая же проблема. Для индексации в роботе запретила большую часть сайта, а в ликах все равно пока показывает. Но был уже опыт, что нужно подождать пока, по-видимому, кэш Гугла очиститься.

Тайны НЛО и бермудский треугольник ( http://tajny-nlo.ru/ )
K
На сайте с 13.02.2005
Offline
82
#7

Кстати, у меня аналогичная проблема.

Прописывал так

User-agent: Googlebot

Disallow: /

Будем тоже пробовать предложенные варианты.

Спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий