Интервал для яндекса

Олег Магрелов
На сайте с 21.04.2011
Offline
130
417

Скажите, какой интервал в robots.txt (в секундах) писать для робота яндекса? Основная нагрузка (80%) от него, стоит 4 сек., не знаю, сколько можно поставить максисум чтобы не повредило индексации

Олег Магрелов
На сайте с 21.04.2011
Offline
130
#1

Ещё такой вопрос: в логах на хостинге показывает, что роботы заходят на один сайт по 2-м зеркалам - с www и без, т.е вместо 5 сайтов сканируют 10. Возникли проблемы с нагрузкой на сервер - превышает сейчас в 2 раза, сменил хостинг, то же самое. В Яндекс вебмастере указал основные зеркала, в crawl-delay поставил 4 сек для всех, в robots записал host для каждого (для всех роботов). Скажите, ещё надо в htaccess что-то дописать, чтобы склеить зеркала, и будут ли после этого роботы сканировать только основное зеркало? Снизится тогда нагрузка на сервер?

Если да, то напишите пожалуйста, пример, что вписать в htaccess. Пишут везде по разному, боюсь навредить сайтам

Shema
На сайте с 01.12.2005
Offline
176
#2

Меняйте ещё раз хостинг или CMS.

Если сайт не выдерживает нагрузку от поискового робота, то представьте, что будет, когда пойдут люди.

Студия Design Coda (http://www.designcoda.ru/). Личные контакты: +7(903)1367564, skype:andrey.oshemkov, telegram:@oshemkov. WMID: 492025973671 (https://passport.webmoney.ru/asp/certview4.asp?wmid=492025973671), делаем и рекламируем сайты, мобильные приложения, ботов для Telegram.
Олег Магрелов
На сайте с 21.04.2011
Offline
130
#3
Shema:
представьте, что будет, когда пойдут люди.

Да, понятно, сайты почти новые, с малениькой посещалкой, но роботы яндекса и гугла создают большую нагрузку

Я понимаю, что для кого-то это не нагрузка, но по моему всё-таки много

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий