Запретить роботам парсить сайт!

это у вас на виртуальном хостинге такое хозяйство? а что за хостинг и тарифный план? на выделенный сервер переехать не предлагали

ValdisRu, на инфобоксе тариф профи, сто айпи.

---------- Добавлено 10.02.2013 в 23:55 ----------

Scaryer, я поэтому и говорю непонятные, в смысле для сайта бесполезные.

Эта сволочь уже затрахала множество сайтов.

web2master

У меня есть к Вам предложение по вопросу отслеживания поисковых роботов.

запрещайте смело, моня в .htaccess правило прописать

Друзья, я поставил запрет ради эксперимента на нескольких доменах. Нагрузка на хостинг упала до 90 процентов, сайты как были в яндексе и google так и остались. Никаких санкций от Google и Яндекс не последовало. Значит всё ок :)

P.S. запрет поставлен напрямую в движке, файл обработчик (index.php) в самом начале имеет две строчки на проверку юзер-агента. В случае если там (юзер-агент) есть записи типа (bot|search|crawler|и так далее) и при этом нет записей (google|yandex) то работа сайта закончена. Я не вывожу ошибки, просто белый экран.

Подключусь к вопросу.

У меня сайт на веб хостинге, и его долбит search.msn.com На сегодня уже 1890 запросов. А от яндекс спайдера только 360.

И если яндексом и гуглом управлять можно, то как msn - ом хз. Есть ли способы притормозить его кроме бана по IP?

Сейчас бинг ложит восновном, с яхо все ок вроде :)

Обратитесь к администратору вашего хостинга, попросите запретить боты. Дел на 1 минуту.

(в htaccess либо другими вариантами)