Форум Сайтостроение Веб-строительство

Нагрузка на сервер от ПС. Crawl-delay

UralM
На сайте с 07.08.2006
Offline
188
UralM
772

На сервер пошла высокая нагрузка.Часть IP занесли в блек-лист, после этого нагрузка спала. Но проблема в том что это оказались IP Яндекса. Т.е. его робот-индексатор ложит мне сервер. Общее количество страниц на сервере в районе 400-500 тыс.

Появилась мысль прописать в robots для всех сайтов директиву Crawl-delay, но как отнесется к ней Яндекс? Не будет ли проблем с индексацией?

D
На сайте с 28.06.2008
Offline
1114
Dram
#1

http://help.yandex.ru/webmaster/?id=1022359

UralM
На сайте с 07.08.2006
Offline
188
UralM
#2

Вы вопрос прочитали?

Милованов Ю.С
На сайте с 24.01.2008
Offline
196
Милованов Ю.С
#3

ЯDDoS это конечно круто))

А в чем может быть проблема с индексацией?

Если Вы ему укажите период 10000000(много нулей), то возможно проблема возникнет.

Если хотите знать 100% ответ, то самый лучший вариант - на чем-нибудь попробовать:)

Подпись))
Не поднимаются 4 моих Пакетная загрузка объявлений в Конкурс на макет нашей
SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#4
UralM:
Вы вопрос прочитали?

И чем не удовлетворила ссылка данная Dramом?

Ровно ответ на вопрос

UralM:
прописать в robots для всех сайтов директиву Crawl-delay, но как отнесется к ней Яндекс?

Не?

---------- Добавлено 20.06.2012 в 22:02 ----------

Милованов Ю.С:
ЯDDoS это конечно круто))

Тут встречалось - говнохостиги вообще блочили Яшу\гугл, потому как сайты клиентов ложили :)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
Почему сайт в пожизненном Сегодня Цою было бы Добавление поддоменов вида moskva.url.ru
Милованов Ю.С
На сайте с 24.01.2008
Offline
196
Милованов Ю.С
#5

ТС, Яша Вам не Григорий Остер. На своих страницах вредных советов давать не будет:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий