Рега в каталогах убивает хостинг?

Листа с обратными ссылками я не ставил так что и проверять нечего было ;) а в поле где размещена ссылка на каталог я ставлю ссылку на сам каталог :) у самого каталога есть ведь на себя ссылка ))

Нагрузка нехилая возникает при регистрации в каталогах, т.к. большинство каталогов ломятся посмотреть - а поставлена ли обратка на них, причем заходят как на морду, так и на ту страницу, которая указана что там должна быть обратка, а самые "умные" каталоги не найдя там на себя любимого ссылку - начинают шарится по другим страницам, выкачивая сотни, а то и тысячи страниц... И если прогнать сайт по автобазе, что сейчас модно, да если еще канал у вас хороший и алсубмитер быстро бежит, то в течение получаса вы можете получить пару тысяч ботов, которые выкачают пару десятков тысяч страниц... вот вам и нагрузочка...

Поделюсь и я. Также при прогоне сайтов возникает аналогичная проблема.

Сам оллсубмитером гоню с 40 потоками - ни разу не валил. По-ламерски объясняю, не владею терминами хостеров 🙄

Как только за дело берутся профессионалы с форума - регулярно. Очевидно, что у них промышленный подход :) И потоков явно больше.

Вопрос, так че делать-то? Панацея со сменой хостера - идея раз. Что-то еще можно сделать? Именно под такие случаи?

Это про мои саттелиты...

Письмо от хостера -

"Здравствуйте, Игорь,

Ваш аккаунт ***.ru (ID: **) заблокирован.

-------------------------------------------------------------

Комментарии Администратора

-------------------------------------------------------------

Аккаунт заблокирован за DDOS атаку проводимую на него, что в свою очередь мешало работе других сайтов.

---------------------

С Наилучшими Пожеланиями, ***

_Игорь добавил 15.05.2008 в 20:41

... после прогона 4-х сайтов (и то последний не до конца). Средний объем 50 стр. Движок есть (не совсем понимаю правда как это с движком может быть связанно...) Каталогов 5-6 тысяч. При условии, что 30% каталогов имеют бота проверки обратных ссылок, и кажды бот обойдет все страницы (считаем с запасом) имеем:

4x50x6 000 / 5 = 240 000 обращений к сайту за 12 часов и нагрузка на сервер хостера (причем неплохой сервер) = 34CPU. То что это из-за каталогов - 100% максимальная нагрузка во время реги была.

Вот такие вот факты...

я непонимаю с чего вы взяли что каталоги проверяют ВЕСЬ сайт на обратную ссылку?

я лично таких каталогов вообще не встречал, а если и есть такие то только считанные единицы, так как сами подумайте - в этот каталог добавят как минимум 200 сайтов в день, и что он будет все сайты сканировать??? это вообще полная тупость, нагрузка будет огроменная на сервакгде каталог...

ВСЕ каталоги проверяют обратную ссылку только там, на какую страницу вы дали ему ссылку

итак получится в вашем случае где то 4800 обращений

Без дополнителсной информации сложно что то сказать. Анализируйте логи, тогда и поймёте....

...логично, я вообще и не считаю что ВСЕ каталоги проверяют ВЕСЬ сайт. Хотя допускаю, что какая-то часть каталогов проверяет, причем, возможно не по одному разу... Иначе объяснить не могу. 4800 обращений за 12 часов и нагрузка хостеру - 34CPU - невозможно...

Недавно прогонял новый сайт, прогонял по базе в примерно 11к каталогов, на сайте около 20-30 страниц было. За сутки было скачано почти 50к страниц, т.е. весь сайт выкачали 1,5-2,5к раз...

Если бы на сайте было тысячи страниц (интернет магазин к примеру) и с движком покрупнее с мускулом - то такой сайт увалил бы любой сервак...

Причем 90% ботового трафа было в процессе регистрации и в течение часа после регистрации. А процесс регистрации шел около часа, в 70 потоков с каналом 3мб/с ...

И замечено что эти дикие боты наваливаются больше с небелых каталогов, ну собственно и понятно - активно ищут свою ссылку....

А зачем в них вообще региться? Все равно ссылку уберут или и не поставят.

Как "зачем"? Чтобы потом в отзывах на форуме написали, что "на ящик свалилось около 1500 писем"... 😂

По опыту: однажды заказал прогон сайта на достаточно медленной CMS, в результате (благодаря очень крутому "регистратору") за ~2 часа боты "отщелкали" мне главную (а некоторые и не только главеую) страницу более 10.000 раз, что вместе с очумевшим в тот день роботом от Яху практически положило мою VDS-ку... (на CPU700 RAM256 LA был до 20 при обычных 0,2)

При этом сателлиты на статике или самописном простеньком php c mySQL при таких же прогонах по каталогам какой-либо серьезной нагрузки на сервер не создавали.

Т.ч. если у Вас на "статике" хостер взбрыкнулся, то думаю не стоит от него ждать чего-то хорошего, если же, например, на joomla, то лучше просто написать хостеру письмо о вашем раскаянии в необдуманном поступке и спокойно работать дальше. ;)