Да поменял только что, заканчивается тестовый период. Нагрузку видимо всё-таки дают мои сайты, т.к. на прежнем хостинге было то же самое. Понятно, что лучше не лезть в БД, если не знаешь, а настчёт интервала для яндекса в crawl-delay, сколько можно поставить, чтобы не навредить индексации?
siv1987, подскажите, не слишком ли длинный получился robots.txt?
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /sendmail/
Disallow: /services.html
Disallow: /add/select/cat/
Disallow: /add/select/region/
Disallow: /css/
Disallow: /js/
Disallow: /pay/
Disallow: /change_region/
Disallow: /region_changer/
Disallow: /users/
Disallow: /*users
Disallow: /cgi-bin/
Disallow: /billing/
Disallow: /commands/
Disallow: /includes/
Disallow: /locale/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /profile
Disallow: /registration
Disallow: /*type=
Disallow: /*noimg=
Disallow: /*price=
Disallow: /*users=
Disallow: /*name=
Disallow: /*from=
Disallow: /*notepad
Disallow: /*redirect.php
Disallow: /*redirect
Crawl-delay: 4
User-agent: Yandex
Crawl-delay: 2
Попробую так
Disallow: /search
Так?---------- Добавлено 25.03.2013 в 21:29 ----------User-agent: *
Disallow: /services.html?service=
Disallow: /notepad/
Disallow: /add/
Disallow: /tags/
Скажите, а правильно в такой последовательности указывать crawl-delay?
А ограничение - 0.5, 1, 2 или 4 секунды это уже подбирать для конкретного случая?
Да, наверное, у меня 10 сайтов на 1 площадке, так что толку наверно придётся слишком большие ограничения ставить
Роботы гугловские опять долбят сервер со страшной силой, я тут отписывался недавно (5-7 марта, перед письмами) - сайты колом стояли или по 2 мин. открывались. После 8-9 марта вроде стихло, сейчас опять началось, вторая волна
ПР не упал, выдача тоже (пока), в сапе торгую и покупаю
Да половина сайтов пустые, конечно не хочу переплачивать
На Джино не тарифы, а подключение отдельных услуг, есть только вип тариф. У меня 10 гб, занято 7%, 4гб MySQL, занято 1%, вот нагрузку на cpu никак по моему нельзя уменьшить, кроме как ограничить роботов. Поставлю 5 сек, если не найду других причин. Менять хостера - такие головняки, но если так будет продолжаться, то надо будет, и нет гарантии что на новом месте не будет то же самое
