- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На сайте достаточно много страниц. И не все еще проиндексированы поисковиками. При этом часто возникает проблема повышенной нагрузки на сервер, когда кто-то из них начинает пачками глотать много страниц. Хостер ругаецца.
Насколько я понимаю, боту дается определенное время для индексации страниц. И он его использует на все 100%.
Вопрос, как ограничить количество индексируемых страниц в единицу времени, чтобы не выпадать по пиковой нагрузке? Может есть специальная директива в robot.txt или для файла htaccess?
Вопрос, как ограничить количество индексируемых страниц в единицу времени, чтобы не выпадать по пиковой нагрузке?
Чем отрезать руку, а то палец болит?
Вот в заголовке вопрос правильный, а поиск путей - ошибочен. Нужно разбираться в причинах, а не пытаться скрыть следствия.
Если сервер сильно нагружен и не успевает отрабатывать запросы на загрузку, воспользуйтесь директивой Crawl-delay. Она позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.
но и
но и желательно
А кто подскажет методы разборок? т.е. какой-нить тестер, который онлайн показывает нагрузку на сервер от каждого скрипта.
На сайте достаточно много страниц. И не все еще проиндексированы поисковиками. При этом часто возникает проблема повышенной нагрузки на сервер, когда кто-то из них начинает пачками глотать много страниц. Хостер ругаецца.
Насколько я понимаю, боту дается определенное время для индексации страниц. И он его использует на все 100%.
Вопрос, как ограничить количество индексируемых страниц в единицу времени, чтобы не выпадать по пиковой нагрузке? Может есть специальная директива в robot.txt или для файла htaccess?
Crawl-delay в robots.txt
Если страниц много так же неплохо ограничить доступ "лишним" роботам - типа робота yahoo и т.п.
Я бы на 2 глобальные разделил
1 организационные: детектив - кто вызывает нагрузку? Оптимизируем: убираем дубли (www и без, / на конце и без, различные варианты расстановки гет-параметров если есть и т.д), "неправильные боты", заголовки 304 и т.д. Скорее всего в сети много всего на эти темы написано☝
2 технические (сложнее и не всегда возможно ): оптимизация скрипта, запросов, кеширование и т.д., нужен спец. Не всегда возможно за разумные деньги, проще ресурсов у хостера докупить.
спросить у хостера можно, или mod_status если возможно. Косвенно, если пхп - getrusage, memory_get_usage, memory_get_peak_usage, время выполнения скрипта, кол-во запросов sql.