DDoS от поисковиков

QA
На сайте с 25.04.2009
Offline
67
2796

Кто действительно сталкивался с тем, что поисковики ложат сайты? Что делали и какие последствия? Надо ли писать для клиентов ФАК как защитится или все приувеличено?

У меня один человек недавно спрашивал как защитится от яху. Здесь народ на яндекс жалуется

http://www.webplanet.ru/news/security/2009/06/19/yanddos.html

TrueVDS - виртуальные машины на Xen (http://www.truevds.ru/)
Stars3000
На сайте с 19.02.2009
Offline
69
#1
QuickAurum:

У меня один человек недавно спрашивал как защитится от яху. Здесь народ на яндекс жалуется
http://www.webplanet.ru/news/security/2009/06/19/yanddos.html

Запретить через robots.txt этому боту индексировать сайт. :) Проверено лично - помогло.

E
На сайте с 29.03.2007
Offline
102
#2

если сайт русскоязычный то можно яху совсем отрубать например. фаерволом или сервером (апач, nginx, etc.)

яха очень много жрет и мало дает в итоге... сравнительно конечно и наверное сильно зависит от тем...

идеальное решение - сервер помощнее имхо.

Апокалипсис
На сайте с 02.11.2008
Offline
391
#3
QuickAurum:
Кто действительно сталкивался с тем, что поисковики ложат сайты? Что делали и какие последствия? Надо ли писать для клиентов ФАК как защитится или все приувеличено?

Грамотно отлаживайте свои скрипты, и ничего не будет ложиться.

Записки нищего (http://zapiskinishego.ru) - мой личный блог Услуги php программиста. Очень нужна любая работа. Не покупают? Поведенческий аудит интернет-магазина за 5000 руб. (/ru/forum/990312)
QA
На сайте с 25.04.2009
Offline
67
#4
Апокалипсис:
Грамотно отлаживайте свои скрипты, и ничего не будет ложиться.

Это вы предлагаете чтобы мы клиентам так отвечали? Через 5 минут на этом форуме будет новая тема, что у нас в суппорте жлобы работают :)

[Удален]
#5

Crawl-delay в роботс спасает. Собственно, как и было написано в заметке. А вообще, конечно, всё преувеличено. По крайней мере, я таких проблем не испытывал.

basilic
На сайте с 16.05.2008
Offline
369
#6

Psycho, угу, тож слежу за этим :)

JD
На сайте с 08.12.2008
Offline
471
#7
Psycho:
Crawl-delay в роботс спасает. Собственно, как и было написано в заметке. А вообще, конечно, всё преувеличено. По крайней мере, я таких проблем не испытывал.

Там вообще была отдельная история, более 15K поддоменов на 2 IP. А после указания значения Crawl-Delay 0,5 они только увеличили нагрузку.

[Удален]
#8
Jet D.:
А после указания значения Crawl-Delay 0,5 они только увеличили нагрузку

А каково значение для Яндекса, например, по дефолту, никто не в курсе? Просто тут написано следующее:

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
JD
На сайте с 08.12.2008
Offline
471
#9
Psycho:
А каково значение для Яндекса, например, по дефолту, никто не в курсе? Просто тут написано следующее:

1 или 2 секунды.

[Удален]
#10
Jet D.:
1 или 2 секунды.

Ну в таком случае это неудивительно:

Jet D.:
после указания значения Crawl-Delay 0,5 они только увеличили нагрузку

Правильно?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий