это единственная директива в robots.txt ?
Что-то не вижу я самой проблемы. С вас спрашивают за результат? А теперь еще и спрашивают, а оптимизирован ли сайт? Ну так оптимизируйте его и работайте на результат.
Если категорически не согласны с пунктом 3) и на этой почве появилась взаимная неприязнь с начальником - ну найдите другую работу и сообщите об этом начальнику.
В новогодние праздники менять железо и системный софт - это мужественные люди :).
Главное, что разобрались относительно быстро для такой масштабной системы.
А ведь наверное у многих админов в Яндексе праздники были подпорчены ...
Если они найдут способ узнать об этой странице, то да.
Например Рамблер может узнать, если на страницу поставить его счетчик и посетить страницу. По любой ссылке с другого сайта, если она вдруг появится и т.д.
А вот расположение документа в каталоге поисковиков в этом смысле никак не волнует, доступа к файловой системе у них нет.
Demon312, при открытии главной страницы, должно быть в первые 3-5 секунд понятно, о чем вообще сайт (без прокруток и т.д.). Дальше разжевывать не буду, сами думайте.
Только выдавать разный robots.txt в зависимости от HTTP_HOST.
Это если не использовать серверный редирект.
Агитировать нас, как надо зарабатывать деньги, не надо, агитируйте лучше Платона Щукина :). 😂 😂 😂
Да нет, зачем рвать. Просто по многим запросам теперь не найти хорошо известные сайты с оригинальным контентом, который у них воруют. Т.е. качество поиска явно ухудшилось. И спорить не надо, время покажет, причем скорее всего следующий апдейт.
Счетчики не грузят "хост". Чем не устраивает liveinternet?
А, поисковые боты надо? Значит счетчик надо серверный.
Какие именно пробовали?
Это точно. Можно сэкономить клиенту время и нервы. Да и себе тоже.
