YandexBot ложит сервер. Need help!

OD
На сайте с 26.10.2010
Offline
76
1455

Добрый вечер, уважаемые форумчане!

Уже несколько дней борюсь с падением сайтов на сервере. Поддержка отвечает, что слишком много запросов идёт вот с этих IP 188.72.80.208 5.255.253.4 95.108.150.13 (это IP YandexBot) и поэтому возникает ошибка 504 Gateway Time-out.

Поддержка рекомендует добавить в robots.txt соответствующие записи и ссылается на http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.

Кто может подсказать нужно ли добавлять соответствующие ограничения для этих ip? не возникнет ли проблем в будущем?

О сайте - wordpress, сегодня посещаемость на данную секунду 9 411, максимум посетителей онлайн за сегодня - 41, максимум запросов сегодня - 4 в секунду.

О сервере - Процессор 2x2.0 ГГц (2 ядра), ОЗУ 4 ГБ, Жесткий диск (SAS, RAID 10) 64 ГБ, Порт 25 Мбит/с.

Я немножко в замешательстве, так как не особо разбираюсь в настройках серверов, но закрывать айпишники Яндекса без консультации не особо хочется.

Буду очень благодарен за ваши ответы!

Work hard. Dream Big
A
На сайте с 03.04.2010
Offline
179
#1

ну поставьте Crawl-delay: сколько нужно, но то что яндекс ложит серв это что-то новое и лучше обратиться к толковому админу для настройки сервака

Алексей
На сайте с 23.02.2009
Offline
584
#2

OuraniD, кеш настройте.

DV
На сайте с 01.05.2010
Offline
644
#3

Не бот ложит, а сервер ненастроен.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
Mik Foxi
На сайте с 02.03.2011
Offline
1217
#4

Сервер не настроен. Из самого простого - сделайте кеширование всего тем же нгинксом.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
OD
На сайте с 26.10.2010
Offline
76
#5

Всем большое спасибо за советы. Может кто-то нибудь подскажет толкового админа, который сможет настроить сервер на нормальную работу? Не за бесплатно, конечно.

Andreyka
На сайте с 19.02.2005
Offline
822
#6

Пишите в ЛС, погляжу что у вас там

Не стоит плодить сущности без необходимости

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий