DDoS от поисковиков

Нехотите чтоб ходил - robots.txt. Закрывайте свой сайт от ботов, в чем проблема?

Эх.. Ну вот как закрывать, когда парсится все в игноринг этого файла? 1,5 гигабайта оперативки.. 40 метров на страницу. Считайте сколько это одновременных запросов. А потом откройте файл robots.txt в дистрибутиве Друпала... К примеру. А вообще закрывать сайт от поисковых роботов могут только нечастные недоучки. ИМХО.

Если индексируется в обход файла - значит это левобот какого-то граббера. Deny его IP в .htaccess или еще лучше в iptables.

40 метров на страницу? Ну так не связывайтесь с скулкодерами.

Есть сайты кторые вообще закрыты от простых смертных с доступом по инвайтам. Тамошине обитатели очень будут смеяться над "недоучками" :)

Я сетки Яндекса... Ага.

Hack_phoenix добавил 29.06.2009 в 07:53

Drupal.org - скулкодеры? Вы просто не в курсе задач, которые выполняет данная ЦМС при такой конфигурации.

Hack_phoenix добавил 29.06.2009 в 07:53

Этот случай вообще-то не рассматривается. Если не ошибаюсь, мы говорим про паблик.

У меня друпал не тянет 40mb на коннект. Какие-то у нас разные друпалы.

И да, у меня php в fastcgi, ему собственно все равно сколько коннектов, чай не mod

У меня в общем все то же самое. На самом деле вы можете тестировать ЦМС по умолчанию, а можете тестировать с огромным количеством модулей, реально выполняющих свою задачу. И задача как бы именно нужна для этого сайта... А вот при генерации траницы - ладно, если одну и ту же страничку запрашивают - срабатывает кеш. А если разные? Ну, например, запросите одновременно _все_ странички вашего сайта. Да там и по 20 метров хватит... Я решаю эту проблему просто прибитем процессов php если юзер превышает отведенный ему лимит памяти. Просто и со вкусом. Да, не отиндексится граббилкой, во время такого скачка какой-то юзер не получит доступа к страничке. Но обновит и все будет нормально... Да и как может быть не важным количество коннектов (коннекты конечно не важны, именно запросы страниц интересуют)? Ведь разница есть - или один пользователь бороздит странички сайта или тысяча...

Одновременно все невыйдет, ибо есть iplimit.

А теперь представим себе граббинг с нескольких адресов... Ну да, у меня iplimit равен 100 подключениям... 100*37=3400 мегабайт... Надо ли говорить, что это все происходит за 10-15 секунд? В случае с сервером - ничего страшного, ибо, как правило, есть запас прочности ввиде его железа. Но вот если окажется ВДС с ОЗУ меньшей, чем 80 Мбайт все начнет свопить... И соответственно растет потребление памяти, своп - больше. Т.о. ДДоСом это назвать сложно, но эффект примерно такой. И хорошо, если это сервер с 12 гигами оперативки.... Вот только ВДС даже ДДоСить не нужно, если на ней стоит ВП или Друпал... Это тяжелые движки по умолчанию. Стоит просто проиндексировать сайт... Можно с двух-трех машин сграбить. И вуаля. Вот именно об этом и говорится. Кстати, ПС не умеют снижать на ходу темп сканирования, если сервер начинает тормозить - залетают сразу с заданной скоростью, если Crawl-delay не прописан. Потом уже оно автоматически при следующих заходах определяется и проблема отпадает. Но тем не менее, однозначного метода защиты нет, ибо может прийти одновременно и гугл и яндекс и яху. А установка директив, снижающих частоту опроса сайта увеличивает время появления сайта в выдаче. Исходя из этого, единственное средство борьбы - оптимизация скриптов.

На vds ставим вместо 100 10 и все в порядке

Тут такое дело - если сайт нужен быстро в выдаче, то берем под него железку с 8 ядрами и 32-я гигами оперативы. И радуемся выдаче.

А если это по деньгам невыгодно - берем копеечный VDS и терпеливо ждем.

Все просто, вопрос как всегда в цене. Которую человек готов платить за индексацию.

ну 10 нельзя. Совсем нельзя. :). Прокся, рабочая (например, у нас в организации 20 машин под NAT) и т.п. Т.е. хотя бы 50...