- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Скажите, какой интервал в robots.txt (в секундах) писать для робота яндекса? Основная нагрузка (80%) от него, стоит 4 сек., не знаю, сколько можно поставить максисум чтобы не повредило индексации
Ещё такой вопрос: в логах на хостинге показывает, что роботы заходят на один сайт по 2-м зеркалам - с www и без, т.е вместо 5 сайтов сканируют 10. Возникли проблемы с нагрузкой на сервер - превышает сейчас в 2 раза, сменил хостинг, то же самое. В Яндекс вебмастере указал основные зеркала, в crawl-delay поставил 4 сек для всех, в robots записал host для каждого (для всех роботов). Скажите, ещё надо в htaccess что-то дописать, чтобы склеить зеркала, и будут ли после этого роботы сканировать только основное зеркало? Снизится тогда нагрузка на сервер?
Если да, то напишите пожалуйста, пример, что вписать в htaccess. Пишут везде по разному, боюсь навредить сайтам
Меняйте ещё раз хостинг или CMS.
Если сайт не выдерживает нагрузку от поискового робота, то представьте, что будет, когда пойдут люди.
представьте, что будет, когда пойдут люди.
Да, понятно, сайты почти новые, с малениькой посещалкой, но роботы яндекса и гугла создают большую нагрузку
Я понимаю, что для кого-то это не нагрузка, но по моему всё-таки много