- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Может кто поможет, ибо в слегонца сломал голову.
Имеется ряд сайтов, преимущественно на WP, но есть и ModX, кэширование везде, обновлялки отключены. За сутки нагрузка на хостера составляет около 20-40%, реже когда 60%. Но за один час, примерно 9 часов, каждый день нагрузка достигает до 800-1000%.
Грешил на резервное копирование базы. Но она не делается в 9 часов. Бот САПы тоже не берет все сайты махом, а посещает их по отдельности... Вообщем Аксесс_лог ничего толкового не дал - все как и в другие часы.
Что можно попробовать стрясти с хостера, чтобы понять что же вызывает аццкую нагрузку в один лишь час...? Хостер infobox.ru
Заранее большое спасибо.
Смотрите логи, считайте статистику. Поймете, посещаемость это или глюки в скриптах.
1. В логах что? Может там попытка повалить сервер?
2. ModX иногда выкидывает номера типа загрузки процессора на 100%
Правда причины не устанавливались - был снесен нафиг.
vedomir, гм... а есть ли характерные признаки этого? Просто сапа-бота можно вычленить довольно просто - много запросов в маленькое время. А остальном просматривал логи 6ти сайтов(столько в акке) - ничего похожего на большое колличество запросов в одно время.
И так: а что можно попросить у хостинга? Логи Апача или что-то в этом духе?
ModX... блин :( Не хотелось бы его сносить....
просите лог медленных sql-запросов у хостера.
Dreammaker, попробую. А то апач вежливо завернули.
У меня такой вопрос: если в роботе прописать:
User-agent: Yandex
Crawl-delay: 2
User-agent: *
Crawl-delay: 2
Или нужно еще что-то? Хочу снизить поисковую нагрузку от ботов.
vedomir, гм... а есть ли характерные признаки этого? Просто сапа-бота можно вычленить довольно просто - много запросов в маленькое время. А остальном просматривал логи 6ти сайтов(столько в акке) - ничего похожего на большое колличество запросов в одно время.
И так: а что можно попросить у хостинга? Логи Апача или что-то в этом духе?
ModX... блин :( Не хотелось бы его сносить....
Ну да , там на нем была сделана кнопка бабло. Но пришлось попросить ее убрать оттуда. Я предполагаю, что надо ограничить количество запросов от поисковых ботов. Потому что в логах та м ничего страшного и криминального не было. Возможно modx валится от каких-то своих же заумных запросов.
Боты не ходят в одно и то же время. Как правило. CRON посмотреть?
Новый ужастик - "Боты приходят в полночь".
Как раз сапа очень часто наваливается на кучу сайтов разом.
вычислить можно по множеству запросов с несколких ip, а whois на ip-адрес показывает QWARTA.
На самом деле сапа может создавать намного большую нагрузку, чем поисковые роботы.
P.S.: Пример: был заход бота гугла на сервер, запросов выло раз в 10 больше, чем от сапы, но нагрузка была намного ниже.
Hack_phoenix, CRONа нету. Поэтому он исключается.
Andreyka, угу. Причем очень офигительный ужастик (последствия удручают).
Himiko, да есть подозрения на сапу. Посмотрим что скажет ТП сегодня, обещали присмотреть.
TO ALL:
Может кому поможет. Выставил Crawl-delay на 2 для Яшки и на 4 для остальных ботов. Нагрузка в обычные часы упала примерно в 2 раза (иногда с 60 до 5%). Как будут известны данные про 9 часов - отпишусь.
dfase добавил 18.08.2009 в 13:12
Вобщем походу таки сапа+поисковые боты. Кроул спас.
Всем большое спасибо, если что взял на заметку что требовать и что трясти с хостера.