Я своё совсем закрыть хочу, ведь получается, что оно дублирует контент категорий, только сортировка в нём по другому принципу.
Я прав?
Спасибо всем за помощь.
А категории при таком роботсе будут поисковикам доступны?
Они у меня такого вида:
http://magazin.ru/index.php?categoryID=44
А если я хочу ещё и теги позакрывать от индексации они у меня вида:
http://magazin.ru/index.php?tagID=gruppa_tovarov
То роботс такой сделать:
User-agent: *Disallow: /index.php?shopping_cartDisallow: /index.php?tagIDUser-agent: YandexDisallow: /index.php?shopping_cartDisallow: /index.php?tagIDHost: magazin.ru
?
А куда её там вписать?
Сейчас у меня:
User-agent: *
Allow: /
User-agent: Yandex
Host: magazin.ru
У меня всё отлично работает. Спасибо.
В сапе если добавить url главной без / , то всё равно он добавится в проект с / и ссылки на сайтах будут ставиться с /
т.е. http://www.site.ru/
Так разве он его не на старом должен читать?
Так как бот доберётся до robots.txt если он будет перенаправляться на другой домен?
Действительно каспер ругается.
Пока только домен меняется.
Тут ещё просто такая проблема появилась. Сайту, которому я хочу поменять домен, уже почти 2 месяца, Гуглом проиндексировано 297 страниц, а яндекс его совсем не хотел индексировать. Вчера я начал перенос, а сегодня, яндекс начал индексировать сайт и в результатах поиска появилось страниц 30 ))) получится если я поставлю сейчас 301 редирект, яндекс не сможет прочитать robots.txt и не сможет нормально склеить сайты?
Мне мой хостер подсказал следующее решение данной, которое как он сказал решает все проблемы.
Основным доменом аккаунта надо поставить заведомо несуществующий домен, например nesuschectvujuschijdomen.ru
Тогда добавленные к нему сайты например site.ru не будут доступны по адресам:
site.nesuschectvujuschijdomen.ru
и
nesuschectvujuschijdomen.ru/site
А будет доступен только по адресу site.ru
Я проверил сайт действительно доступен только по адресу site.ru , а по другим нет.
Подскажите пожалуйста, при таком решении данной проблемы не возникнет ли проблем с поисковикаи?
