- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Заметил, что рамблер постоянно тусуется на сайте причём в час пик создаёт большую нагрузку на сайт и сервер в целом.
Есть мысль ограничить его прогулки по IP в часы пик, но боюсь уменьшится количество индексируемых страниц и переходов с него.
Как быть кто как с этим боролся?
Рамблер по словам главы их отдела разработки (было подобное обсуждение на хабре) понимает директиву Crawl-delay в robotx.txt, так что можно использовать её. Но они применяют её к конкретному хосту, а не IP, так что если у вас очень много сайтов на сервере, то это может и не решить проблему.
спасибо буду иметь ввиду
Dreammaker, а что мешает прописать Crawl-delay для каждого хоста?
Crawl-delay либо это либо мощнее впс берите
Была подобная проблема пару месяцев назад. Написал в Рамблер - вот переписка:
> Добрый день.
> Подскажите, пожалуйста, понимает ли робот Рамблера директиву
> crawl-delay в robots.txt? Обратил внимание, что в последнее время
> робот Рамблера сильно полюбил сервер, на котором находятся мои
> проекты, хотелось бы упорядочить его посещения. :-)
> С уважением,
> Максим
> =======================================================================
К сожалению, указанную Вами директиву робот не индексирует. Со своей
стороны Вы можете поставить задержку на ответ роботу.
--
С уважением,
Служба поддержки поиска
mailto:Search.support@rambler-co.ru
Пришлось ограничить количество запросов в секунду с IP Рамблера.
Dreammaker, спасибо за совет, обязательно попробую
GeorgeWhite, ручками? ) у некоторых вебмастеров не 5-10 сайтов.
Осторожней с роботом...делайте все аккуратнее.