Как вооружится против grabbera ?

Можно попоробовать использовать страницы-ловушки - такие на которые человек никак не зайдет, а грабер поведется. Например, делать ссылку в виде прозрачной точки 1х1 пиксель или в невидимом div'е.

На этой странице-ловушке анализировать запрос и если это не известный порядочный бот типа гугликовского, то банить ip.

Ну или таки внимательно анализировать логи - в них таки все зафиксированно...

А юзер-агент какой? Хуизы? Какие он использует айпишники? Быть может, будет достаточно занести в бан подсети некоторых хостеров?

Я как раз готовлю сайт, который содержит в себе все подсети, с которых ничего хорошего не придет ;)

граббер ищет контент по шаблону, так возьмите рандоминизируйте шаблон фулл новости

vandamme добавил 19.02.2009 в 14:13

Я сам граблю подобные ДЛЕ сайты

а свой защищаю от граббинга, интересно если не секрет каков адрес вашего сайта? Может я его гружу? :)

можно в личку

ссылку не дам )

какую тематику вы грабите ?

Народ, расскажите побольше про способы самообороны от грабинга?

Вабще былобы круто сделать Одну большую статью про то как защищаться от этих роботов, и прилепить её гденить на виду и добавлять в неё новые методы, и новые грабилки...

логи анализируйте регулярно. баньте превентивно сети датацентров.

простых способов нет. грабберы прекрасно изображают обычных посетителей.

вобщем забанил я того грабилу по ip в админке и через .htaccess :)

щас всё нормально. Но щас буду чаще смотреть на статитику нагрузки на базу !

да, кстати. граббилки всегда мимо кеша идут, не так как пользователи. Поэтому запросы от граббилок обычно тормознее остальных.

Список мер, которые можно принять не очень большрой

Я обычно делаю следующее

ставлю на странице скрытые, труднонажимаемые(img 1x1 px) ссылки на специальные страницы

на этих страницах

• Проверка, работает ли javaScript (ajax)
• Проверка ip на принадлежность серверу
• еще такиеже ссылки на другую такую страницу(с подсчетом, сколько раз уже перешли по ссылкам)

*для основных(нужных мне) поисковиков ссылки и не генерирую

если ajax не работает и есть подозренеие на принадлежность ip cерверу - бан

если перешли по скрытым ссылкам "в глубь" более 2 раз - бан

если за короткое время загружается много страниц - редирект на страницу с проверкой на бота

если есть свободные ресурсы, то генерю для таких ботов очень занятный текст на страницах.