Форум Поисковые системы Прочие поисковики

gogo.ru как запретить индексацию?

12
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#11
YuriyA:
Закрой доступ всем поисковикам, а нужным оставь.

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: Slurp
Disallow:

User-agent: msnbot
Disallow:

Первая директива запрещает всем роботам индексировать сайт, а остальные четыре директивы разрешают роботам Googlebot, Mediapartners-Google, Slurp, msnbot, это делать. Следовательно, далеко не факт, что все роботы поймут эти директивы правильно.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
[Удален]
#12
Цахес:
Первая директива запрещает всем роботам индексировать сайт, а остальные четыре директивы разрешают роботам Googlebot, Mediapartners-Google, Slurp, msnbot, это делать. Следовательно, далеко не факт, что все роботы поймут эти директивы правильно.

Неправильные роботы не в счёт. Те роботы, которым разрешена индексация поймут директивы верно. Валидатор указывает только на то, что первая директива, запрещающая всем роботам индексировать находится вверху, и рекомендует переместить её вниз. А так всё валидно.

Кроме того, на моих сайтах это работает - страницы нормально индексируются указанными поисковиками.

Яндекс внес изменения в Упал доход В Яндекс.Вебмастере появился валидатор
[Удален]
#13

Значит Гога серъезный поисковик раз ищет все .)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий