У сайта одна главная папка, называется /. В ней должен лежать robots.txt и относительно нее все считается, причем с точки зрения HTTP-клиента. А где физически лежит cgi-bin и остальное - неважно.
И еще подозреваю, что папку logs сервер клиентам не показывает вообще, поэтому вопрос про нее не имеет смысла.
По определению все зеркала должны выдавать одно и то же, в т.ч. и robots.txt. Однако, раньше в хелпе Яндекса был пример, как одним robots.txt выдавать разное содержание. Это делалось на SSI в зависимости от имени запрашиваемого хоста.
sunrise: А если парсится, то роботы что, понимают PHP?
PHP парсится сервером и выдается результат. Робот - это HTTP-клиент, он понятия не имеет, что происходит на сервере, он видит тольео результат парсинга.
Владимир-C: Я вообще-то ищзу зеркальщика. На Форуме сказали, что он отмечается так: Yandex/1.01.001 (compatible; Win16; H) Но подобных записей нет и близко!
В чем же дело?
Надо просмотреть логи за несколько недель - месяц. Ищите какой-нибудь программой строчки с "Yandex/" с учетом регистра. Может и робот "H" попадется, он не может не прийти.
У сайта одна главная папка, называется /. В ней должен лежать robots.txt и относительно нее все считается, причем с точки зрения HTTP-клиента. А где физически лежит cgi-bin и остальное - неважно.
И еще подозреваю, что папку logs сервер клиентам не показывает вообще, поэтому вопрос про нее не имеет смысла.
большой гемор
Вы даже не представляете, насколько вы попали в точку! 😂 (см. где Микрософт)
админу вашего сайта.
По определению все зеркала должны выдавать одно и то же, в т.ч. и robots.txt. Однако, раньше в хелпе Яндекса был пример, как одним robots.txt выдавать разное содержание. Это делалось на SSI в зависимости от имени запрашиваемого хоста.
Откопать пример?
А если парсится, то роботы что, понимают PHP?
PHP парсится сервером и выдается результат. Робот - это HTTP-клиент, он понятия не имеет, что происходит на сервере, он видит тольео результат парсинга.
В данном случае сервер не настроен, как надо.
Вам сюда: http://webmaster.yandex.ru/faq.xml?id=502499#user-agent
Я вообще-то ищзу зеркальщика. На Форуме сказали, что он отмечается так: Yandex/1.01.001 (compatible; Win16; H) Но подобных записей нет и близко!
В чем же дело?
Надо просмотреть логи за несколько недель - месяц. Ищите какой-нибудь программой строчки с "Yandex/" с учетом регистра. Может и робот "H" попадется, он не может не прийти.
Можно конечно и напрямую к Ашманову, но самому бы хотелось постичь этот процесс
а что мешает самому прочитать статью "Растолкованный PageRank" (на русском языке) ?
сколько с такого запроса может быть посетителей в день?
боюсь, что нисколько.
Некоторе время назад я решил поднять посещаемость своего сайта
Зная, что сайты проверяются раз в три дня
это кем проверяются?
http://sb.yandex.ru/complain.xml
скорее всего это модератор из Яндекса рассматривал жалобу на ваш сайт.
Отличный анализ, браво. Каков результат этого шпионского триллера ;) ?
Ваш сайт забанили? Обнулили тИЦ? Обнулили влияние ссылок?