Яндекс говорит, что будут, у меня последний месяц имеются некоторые сомнения, сейчас проверяю...
Правильно так:
User-agent: Yandex Disallow: Host: www.glavnoe-gerkalo.ru
Главное зеркало Яндексом будет индексироваться полностью, остальные индексироваться не будут, с Гуглем, рамблером и прочими разбираться надо будет отдельно
Так неправильно, хотя бы одна строка с Disallow должна быть.
Подразумевается, что Host: www.glavnoe-zerkalo.ru можно приравнять к Disallow: / для неосновных зеркал.
AiK недавно писал, что секция с директивой Host, предназначенная для всех роботов, некоторыми роботами может игнорироваться, так что лучше употреблять Host только в секции для Яндекса.
Я тоже не могу в статистику Рамблера попасть - Connection timed out.
Надо до завтра подождать, может поставят сервер на место после праздников. ;)
Присоединяюсь к поздравлениям!
Здоровья и счастья!
Отмечаюсь. :)
RewriteEngine On
RewriteBase /
RewriteRule ^category/([0-9]+)/$ /?cat=$1
Эти записи в логах - результат добавления сайта с помощью формы Яндекса, но никак не индексатор, тот имеет буковку I вместо D.
AiK, спасибо за замечания.
Ceres, если сайт на поддомене отличается дизайном, то лучше просто запретить его индексировать, без использования директивы Host
Если есть возможность, то для domen.site.ru положить свой robots.txt, в котором написать следующее:
User-agent: *
Disallow: /
Host: www.site.ru
В этом случае Яндекс приклеит domen.site.ru к www.site.ru, а остальные поисковики его просто не будут индексировать.
