- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, какие современные роботы пауки сегодня больше всего грузят сервер? Типа, SolomonoBot. Ссылки на блоги с Bing [Bot] и MSN [Bot] не давайте, я это уже все видел. Интересует кто сейчас промышляет из новых. Может какие то еще seo-сайты этим промышляют.
И насколько имеет смысл банить вот таких вот "xpymep", или "SearchBot" если они все равно шифруются под других ботов.
И раз вы все равно уже сюда зашли, помогите с программой которая определяет нагрузку на сервер без использования логов. На WordPress например, есть плагины (типа - http://seom.info/2010/04/21/nagruzka-na-sait/). А если сайты не на WordPress но тоже очень хочется узнать?
У меня по ночам один из сайтов начинает страшно тупить, хочу понять причину. Писал в Мастерхост чтобы логи посмотрели, так как я в этом баран, они послали меня нахрен в вежливой форме.
Спасибо за помощь.
У меня по ночам один из сайтов начинает страшно тупить, хочу понять причину. Писал в Мастерхост чтобы логи посмотрели, так как я в этом баран, они послали меня нахрен в вежливой форме.
Я в свое время уже послал мастерхост за нежелание убирать вирусню. Советую сделать так же.
А уверены, что из-за ботов вообще? Может они по ночам профилактику делают, от этого и тормоза.
Думаю что не в Мастерхосте дело. Сайт был на Мажордоме, потом перенес на Мастерхост, потом на Петерхост, потом еще на один ... в общем, всемирная история банкимпериал. Везде ситуация одна и та же - месяц сайт сидит хорошо на новом хостинге а потом начинается тупняк.
Но это хрен с ним, у меня есть сайты на голом html и на разных хостингах - и те по ночам тормозят. Короче, речь не про хостинг, мне бы программку, если есть такое.
И еще бы забанить тот робот гугла который проверяет обратные ссылки - покупные они или нет.
У меня по ночам один из сайтов начинает страшно тупить, хочу понять причину. Писал в Мастерхост чтобы логи посмотрели, так как я в этом баран, они послали меня нахрен в вежливой форме.
Что в логах стоит напротив времени, которое попадает в период "тупления" сайта? Логи ведь доступны (из панели или по FTP)?
Я в свое время уже послал мастерхост за нежелание убирать вирусню. Советую сделать так же.
Эм. .m - это хостинг. Они предоставляют ресурсы. Формально, следить за "чистотой" на площадке (а тем более залатывать дыры в скриптах) в их прямые обязанности входить не должно.
p.s. какой движок у сайта?
Что в логах стоит напротив времени
Какие то цифры. :) Типа 85.17.73.171. Много вот такой байды: AppleWebKit/537.51.1 (KHTML, like Gecko) Version/6.0 Mobile/11A465 Safari/8536.25
Я думал мож какой график есть по нагрузке чтобы посмотреть все сразу, как по ссылке в первом посте.
что такое AppleWebKit? :) забивать или пусть живет?
что такое AppleWebKit? забивать или пусть живет?
Это, видимо
Типа, SolomonoBot
притворяется..
LeaseWeb B.V.
Хост: spider02.solomono.ru
* ну, или кто-то с сервака под mac-ом сидит.. возможно, через прокси.. я лично сомневаюсь..
Если не ожидается посетителей из leaseweb-а, можно по IP доступ ограничивать.. Хотя...
Из именных ботов, которые слишком активные, я баню:
Из хитрожопых ботов, прячущихся под обычные браузеры - банить можно сразу подсети таких датацентров как хенцзер, лизвеб, мастерхост, + всю индию, китай, тайвань и прочую азию...
Пытаюсь банить через .htaccess:
Order Allow,Deny
Allow from all
Deny from 109.94.0.100
Deny from 94.228.204.10
А эти два адреса всё равно долбятся ко мне каждую секунду. Чудеса? Или это у меня руки из жопы растут?
Банить всю подсеть, типа Deny from 109.94.0 все равно не помогает.
А эти два адреса всё равно долбятся ко мне каждую секунду. Чудеса? Или это у меня руки из жопы растут?
Код ответа сервера в логе какой? если 403 - работает.
p.s. Проще всего проверить, добавив свой IP-шник
Баню всех, кто не хочет понимать Crawl-delay.
Если есть возможность, лучше банить не в .htaccess, а в location nginx, так значительно меньше нагрузка.
Психиатр, так ломиться будут, но в логах теперь должно быть код не 200, а 304