- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Недавно поменял хостера.
Пришлось уйти от старого из-за того что сайт слишком грузил сервер).
Но и у нового несмотря на то что тариф взял в три раза дороже чем на предыдущем возникают аналогичные проблемы.
На новом хостинге есть возможность просмотреть изменение нагрузки на процессор в течении суток.
Мой предел 7,5% за те три дня что я у них превышение было 2 раза:
Самое интересное что превышения были зафиксированы в 11 вечера и пять утра.
В 11 часов вечера на моем сайте не так уж много посетителей - гораздо больше в обед и с 5 до 8 вечера. Что уж говорить про 5 утра.
Первое что приходит в голову что дело в ботах поисковиков.
Хостер вроде как обещал в случае превышения нагрузки предоставить статистику по страницам и IP.
Но в итоге отослал к лог-файлам .
Логи я скачал .
Но как по ним вычислить что вызывает такую нагрузку?
Я думал удастся вычислить какой то левый поисковик который грузит сайт но так ничего конкретного и не нашел.
Точнее нашел слишком много
За пять минут упоминаются YandexBot, bingbot и Googlebot.
Это нормально?
Да, совершенно нормально.
Как мне кажеться, смотрите в сторону оптимизации движка.
Задайте мин. интервал между запросами поисковиков
http://webmaster.ya.ru/replies.xml?item_no=1338
Для robots.txt есть директива CrawlDelay или в два слова - по идее должна устаналивать задержку между обращениями поисковых роботов к сайту.
Попробуйте, вдруг поможет.
Дикий пионер добавил 24.11.2011 в 20:54
Вот, тоже самое посоветовали :)
Redje, смотрите по логам в с 10 до 11 вечера и с четырех до пяти утра кто делает множество запросов в течении секунды (т.е. время запросов одинаковое, IP скорее всего тоже).
Есть такие боты.
Для robots.txt есть директива CrawlDelay или в два слова - по идее должна устаналивать задержку между обращениями поисковых роботов к сайту.
Попробуйте, вдруг поможет.
Дикий пионер добавил 24.11.2011 в 20:54
Вот, тоже самое посоветовали :)
Да использую я эту директиву.
Мой robots.txt скоро по размерам догонит медицинскую энциклопедию.
У меня на всех сайтах установлен Crawl-delay, но его использует только Яндекс. Гугл, Яху, Бинг и Байду его игнорируют.
Но не в этом дело...
Нагрузка у Вас происходит чётко в 5:00 и 23:00, а роботы пунктуальность не отличаются. Скорее всего это какая то задача запускаемая "кроном". Если есть возможность, зайдите в шел, и запустите:
Если он скажет no crontab for ваш_логин, то скорее всего, функция "запуска по расписанию" встроена в Вашу CMS.
Если такой функции точно нет, то покажите пожалуйста логи именно за 5:00 и 23:00
Хорс,
Очень большой кусок кода получиться.
Redje добавил 24.11.2011 в 21:17
195.161.25.23 -по моему вот очень подозрительный гость.
Да использую я эту директиву.
Мой robots.txt скоро по размерам догонит медицинскую энциклопедию.
У вас очень интересный сайт, но не только сайт, но и ваш Robots способен удивить. А вас не смущает что при анализе вашего robots в в Я/вебмастер вылазит множество кучерявых ошибок.
14: ****** Возможно, был использован недопустимый символ
26: ****** Синтаксическая ошибка
27: ****** Синтаксическая ошибка
28: ****** Синтаксическая ошибка
29: ****** Обнаружена неизвестная директива
30: ****** Синтаксическая ошибка
31: ****** Синтаксическая ошибка
32: ****** Обнаружена неизвестная директива
38: User-agent: * Найдено несколько правил вида "User-agent: *"
49: Обнаружена неизвестная директива
49: Обнаружена неизвестная директива
Зачем столько RewriteEngine в роботсе? htaccess зачем тогда вообще? Может конечно не в этом дело, сразу и не скажешь. Какой то ацкий конструктор, я даже немного в ступор ушел. Посмотрю на досуге.