edogs: А яндекс как часто robots.txt запрашивает? Есть информация?
Просто в рамках топика, во время повышения нагрузки можно было бы иногда выдавать robots.txt с запретом, а во время снижения с разрешением.
Не получится, определенная инерционность присутствует в выполнении директив изменненого роботса, и вообще корявый способ
Ага, и смотрит вебмастер в логи и не налюбуется: "Яндекс, миленький, это ты? Ой какой у тебя сегодня аппетит, умница! Кушай, родной, кушай. Я и сервачек помощней куплю, чтоб тебя накормить и не упасть.."
А на другом конце провода сидит пианер с Телепортом и ехидно ухмыляется;]
чего то мне не понятно ... чего яндекс лезет в папки который запрещены для индексции ...
или я роботс кривой даю :(
Disallow: /folder
я так понимаю в папки с таким названием никто не должен лезть ?
или это от корня ?
у меня папки такого вида site.com/id/folder/
Тогда уж так: Disallow: /id/folder
А яндекс как часто robots.txt запрашивает? Есть информация?
Просто в рамках топика, во время повышения нагрузки можно было бы иногда выдавать robots.txt с запретом, а во время снижения с разрешением.
Не получится, определенная инерционность присутствует в выполнении директив изменненого роботса, и вообще корявый способ
Люблю кошек..
Помню подростком был взяли котенка, на ладони помещался..
Подрос, выносили на улицу, учили возвращатся домой.. все время 2-й с 3-м этажом путал..
Как вырос, домой приходил поесть и поспать тока, в дверь царапался..
С сестрой спал в обнимку..
Классный был котяра, боевой, весь в шрамах..
8 лет прожил..
Да не, вроде на мыло пишите
Реально ведь возможна бага, что разные сервера одни и теже страницы запрашивают, ничего в мире не совершенно
Вот тогда расплавленное сало из серверов и начинает капать; пишите в техподдержку Яндекса
Как всегда, комбы рулят
Во-во, сделайте динамический роботс, проверяйте хост и отдавайте соответствующий контент
Может странички быстророботные были?..
Что за технические причины такие, что роботс нельзя, а редирект можно?
Где-то в факе Яндекса есть пункт "Вы перегружаете мой сервер"
Ага, и смотрит вебмастер в логи и не налюбуется: "Яндекс, миленький, это ты? Ой какой у тебя сегодня аппетит, умница! Кушай, родной, кушай. Я и сервачек помощней куплю, чтоб тебя накормить и не упасть.."
А на другом конце провода сидит пианер с Телепортом и ехидно ухмыляется;]