Боты Bing озверели? Ложат сервер...

12
Sower
На сайте с 30.12.2009
Offline
651
#11
redhorse:

когда на пике лезет под две сотни ботов в минуту - это равносильно ДДОС атаке

По моему несколько преувеличено :)

У меня 200 ботов в любую минуту сидят на сервере.

Более-менее активных сайтов 17 штук. Общее кол-во страниц больше миллиона.

Жарко бывает когда кроме ботов и посетителей ещё и сапа налетает качать по 2 страницы в секунду с каждого из 14 сайтов, добавленных в неё.

Quad Core Xeon X3430 4x2.4 GHz/RAM:8GB/HDD:2x250GB/traffic:10TB/port:1Gbit

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
DiaName
На сайте с 19.04.2012
Offline
25
#12
Sower:

У меня 200 ботов в любую минуту сидят на сервере.

Вопрос, чем они там занимаются, вот если все 200 ботов пойдут в поисковые формы и разные поиски по параметрам...

Sower
На сайте с 30.12.2009
Offline
651
#13
DiaName:
Вопрос, чем они там занимаются, вот если все 200 ботов пойдут в поисковые формы и разные поиски по параметрам...

Половина сайтов - файловые архивы. 1 файл = 1 страница. На все страницы в реальном времени транслируется разная статистика и новости, так что боты живут на сервере.

redhorse
На сайте с 05.01.2007
Offline
74
#14

Вот откуда массовое утверждение, что Crawl-delay в роботсе не работает??!

Выставил Crawl-delay: 5 - В логах реально нет заходов бинга чаще 5 сек.

Итог: аптайм сервера 4 дня, всё летает! :p

Прокси для школоты, бери безабузный VPN сервис (http://webmastervpn.com/) и живи спокойно!
HF
На сайте с 24.07.2009
Offline
128
#15
redhorse:
Вот откуда массовое утверждение, что Crawl-delay в роботсе не работает??!

Выставил Crawl-delay: 5 - В логах реально нет заходов бинга чаще 5 сек.
Итог: аптайм сервера 4 дня, всё летает! :p

Работает-работает, куда он денется. В свое время приходилось так же убивать робота Yahoo - тоже границ не знал.

Crawl-delay нужно выставлять лишь из соображений кол-ва сайтов. Если сайтов 100, то и общая нагрузка на сервер будет в 100 раз больше прописанной в Crawl-delay для каждого сайта.

Sower
На сайте с 30.12.2009
Offline
651
#16
HeroFold:
Работает-работает, куда он денется. В свое время приходилось так же убивать робота Yahoo - тоже границ не знал.

Crawl-delay нужно выставлять лишь из соображений кол-ва сайтов. Если сайтов 100, то и общая нагрузка на сервер будет в 100 раз больше прописанной в Crawl-delay для каждого сайта.

Ещё бы в гугле он работал...

redhorse
На сайте с 05.01.2007
Offline
74
#17
Sower:
Ещё бы в гугле он работал...

ага, вижу несколько точек во вчерашних логах, где бот заходил с интервалом 0-3 сек (хотя кроул-дилэй:5). Но для него ж можно в WMT ограничение прописать.

Sower
На сайте с 30.12.2009
Offline
651
#18
redhorse:
ага, вижу несколько точек во вчерашних логах, где бот заходил с интервалом 0-3 сек (хотя кроул-дилэй:5). Но для него ж можно в WMT ограничение прописать.

и делать это придётся каждые 3 месяца, если не ошибаюсь

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий