У сайта одна главная папка, называется /. В ней должен лежать robots.txt и относительно нее все считается, причем с точки зрения HTTP-клиента. А где физически лежит cgi-bin и остальное - неважно.
И еще подозреваю, что папку logs сервер клиентам не показывает вообще, поэтому вопрос про нее не имеет смысла.
Вы даже не представляете, насколько вы попали в точку! 😂 (см. где Микрософт)
админу вашего сайта.
По определению все зеркала должны выдавать одно и то же, в т.ч. и robots.txt. Однако, раньше в хелпе Яндекса был пример, как одним robots.txt выдавать разное содержание. Это делалось на SSI в зависимости от имени запрашиваемого хоста.
Откопать пример?
PHP парсится сервером и выдается результат. Робот - это HTTP-клиент, он понятия не имеет, что происходит на сервере, он видит тольео результат парсинга.
В данном случае сервер не настроен, как надо.
Вам сюда: http://webmaster.yandex.ru/faq.xml?id=502499#user-agent
Надо просмотреть логи за несколько недель - месяц. Ищите какой-нибудь программой строчки с "Yandex/" с учетом регистра. Может и робот "H" попадется, он не может не прийти.
а что мешает самому прочитать статью "Растолкованный PageRank" (на русском языке) ?
боюсь, что нисколько.
это кем проверяются?
скорее всего это модератор из Яндекса рассматривал жалобу на ваш сайт.
Отличный анализ, браво. Каков результат этого шпионского триллера ;) ?
Ваш сайт забанили? Обнулили тИЦ? Обнулили влияние ссылок?
