Кроме них причину точно никто не укажет, остальное будет только догадки. Причем догадки могут быть правильными, а могут быть вот как указано выше. Свалить все на хостера проще всего.
Обратитесь в Яндекс и уточните у них причину.
## тьху, не тот url ##
netangels добавил 13.08.2008 в 11:46
Дак добавьте, проблема-то в чем ? Не хотите туда ничего писать, сделайте просто пустой файл.
Во-первых, на его сайте при запросе /robots.txt выдается не 403, а 404. И выдает ее, очевидно, ПО автора, поскольку вместе с 404 вываливается контента на 18 кило.
Во-вторых, первые три сайта, выдаваемые по ссылке с pr-cy.ru "Все сайты на этом IP" прекрасно проиндексированы:
www.hc-avto.ru - 341 страница
www.scheller-center.ru - 60 страниц
www.akvadrat.ru -
В-третьих, автор темы мог бы заглянуть в логи, которые ему доступны, и обнаружить что еще 11го числа утром Яндекс слил с его сайта 83 страницы, а уже 11го вечером он только запрашивал корень и robots.txt, причем robots.txt несколько раз подряд и всё.
#kletka#, да Вы я смотрю прям "Большой Специалист".
Большей бредятины я в последнее время не читал даже.
Во-первых, какими такими "инструментами" Вы проверяете доступ роботов Яндекса, если автору темы явно в логах показывают что на запросы робота отдавались страницы в 200-м кодом ?
Во-вторых, как Вы проверили "все сайты на вашем хостинге", если только на сервере, где располагается сайт автора темы этих сайтов под 1000 ? И все они прекрасно индексируются.
В-третьих, какие "спам запросы" или "вирус" могут идти от хостера ? Они могут идти от таких как Вы "грамотеев", но уж точно не от хостера.
У автора вместо robots.txt выдается страница с контентом - вот это косяк, но такой спец как Вы это конечно не видит.
