- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день!
Ситуация такая: На новом интернет-магазине спустя 3 месяца от запуска заметили перегрузку хостинга в среднем около 200 CP при максимально допустимых 65 CP. Стало понятно, что это робот Яндекса обращается к страницам иногда по 35 000 раз в день. 95%, а то и более страниц - это страницы фильтра товаров по параметрам (материал, цвет, бренд), которые закрыты в noindex follow и загружаются, когда робот Яндекса тыкается в фильтр и генерит этих страниц огромное количество. Была дилемма - либо закрыть эти страницы в disallow (и таким образом ухудшить индексацию товаров) либо придумать еще что-то. Придумали Crawl-delay, что решило проблему и загрузка стала с трудом укладываться в норму 65 CP. Далее снизили нагрузку еще вдвое оптимизировав код сайта.
Но вот снова была замечена перегрузка до 200 cp. Оказалось, что появился вот такой IP 198.143.133.42 , который в день грузит 15 000 страниц.
Подскажите, что с этим делать, вижу два варианта:
1. Заблокировать запросы данного IP и спокойно жить дальше.
2. Закрыть страницы фильтра товаров в disallow. Ведь если как описано в первом пункте IP заблокирую, то через месяц или неделю появится другой робот. А если закрою в disallow, то объем сайта для роботов снизится на столько, что они уже не смогут перегрузить хостинг. Но есть и минус - ухудшится индексация товаров.
Что посоветуете?
Вбил ваш айпи в строчку браузера - есть что почитать, в том числе и варианты решения вашего вопроса http://198.143.133.42