Яндекс боты перегружают сайт

12
UU
На сайте с 01.01.2024
Offline
8
1294
Приветствую всех. Делаю очередной сайт для клиента, второй день сайту, не добавлял не метрику, не в вебмастер сайт. Ситуация такая, вчера начал ложиться сайт с ошибкой превышения лимитов сервера, покопался в логах и увидел, что поисковые боты атаковали сайт просто нереально (выгрузил 500 товаров). И уже сегодня наблюдаю, что все страницы попали в поиск Яндекса. Это новые алгоритмы по индексации такие, что только созданный сайт сразу попал в поле зрения ботов для индексации? Поделитесь схожим опытом, если он имеется. 
Datot
На сайте с 09.07.2007
Offline
1065
#1
UnclexUncle :
Приветствую всех. Делаю очередной сайт для клиента, второй день сайту, не добавлял не метрику, не в вебмастер сайт. Ситуация такая, вчера начал ложиться сайт с ошибкой превышения лимитов сервера, покопался в логах и увидел, что поисковые боты атаковали сайт просто нереально (выгрузил 500 товаров). И уже сегодня наблюдаю, что все страницы попали в поиск Яндекса. Это новые алгоритмы по индексации такие, что только созданный сайт сразу попал в поле зрения ботов для индексации? Поделитесь схожим опытом, если он имеется. 

У купить нормальный хостинг не судьба?

Накрутка ПФ без последствий https://t.me/karkali ГРуппа полезных сеошников. Гибель яндекса https://tunnel.ru/post-yandeks-vchera-segodnya-i-proshhajj
UU
На сайте с 01.01.2024
Offline
8
#2
Datot #:

У купить нормальный хостинг не судьба?

Причем тут хостинг. Речь идет о том, что индексация настолько быстрая и страницы сканируются моментально, без добавления куда-либо. Во вторых трафика по несколько ГБ в сутки по боту. В третьих на этом "хостинге" стоит сайт, который выдерживал 40к посещений без каких-либо проблем и сейчас спокойно выдерживает 1-2к в сутки. 

Datot
На сайте с 09.07.2007
Offline
1065
#3
UnclexUncle #:

Причем тут хостинг. Речь идет о том, что индексация настолько быстрая и страницы сканируются моментально, без добавления куда-либо. Во вторых трафика по несколько ГБ в сутки по боту. В третьих на этом "хостинге" стоит сайт, который выдерживал 40к посещений без каких-либо проблем и сейчас спокойно выдерживает 1-2к в сутки. 

Так и пиши что все нормально, а ты пишешь

" вчера начал ложиться сайт с ошибкой превышения лимитов сервера"

Антоний Казанский
На сайте с 12.04.2007
Offline
624
#4
UnclexUncle :
Ситуация такая, вчера начал ложиться сайт с ошибкой превышения лимитов сервера, покопался в логах и увидел, что поисковые боты атаковали сайт просто нереально (выгрузил 500 товаров).

Рекламу Директа уже начали использовать? C месяц (или чуть более) разбирали похожий пример на форуме, где после запуска РК в Директе был передоз по активности Яндекс ботов.

Вопрос решился после подключения сотрудника  Яндекса и персонального разбора ситуации.  

Параллельно проверьте по логам сервера точно ли используемые IP относятся к ботам Яндекса. 

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
sarkis28
На сайте с 18.12.2018
Offline
100
#5
UnclexUncle :
Приветствую всех. Делаю очередной сайт для клиента, второй день сайту, не добавлял не метрику, не в вебмастер сайт. Ситуация такая, вчера начал ложиться сайт с ошибкой превышения лимитов сервера, покопался в логах и увидел, что поисковые боты атаковали сайт просто нереально (выгрузил 500 товаров). И уже сегодня наблюдаю, что все страницы попали в поиск Яндекса. Это новые алгоритмы по индексации такие, что только созданный сайт сразу попал в поле зрения ботов для индексации? Поделитесь схожим опытом, если он имеется. 

в разделе вебмастера есть опция , по какой скорости боту ходить на ваш сайт . 
Быстробот   - он всегда был . 
Проблема тут либо в ресурсах сервера либо в оптимизации ваших запросов . 
К примеру , на моих сайтах боты делают примерно 30 запросов в секунду  и это никак не сказывается на производительности . 
Параметры 4 ядра  3.1 Ггц, 8 оперативы, centos, apache, mariadb 10.1, innoDB . Загрузка сервера примерно 40%

UU
На сайте с 01.01.2024
Offline
8
#6
Антоний Казанский #:

Рекламу Директа уже начали использовать? C месяц (или чуть более) разбирали похожий пример на форуме, где после запуска РК в Директе был передоз по активности Яндекс ботов.

Вопрос решился после подключения сотрудника  Яндекса и персонального разбора ситуации.  

Параллельно проверьте по логам сервера точно ли используемые IP относятся к ботам Яндекса. 

Нет. Вообще никаких инструментов не было использовано для рекламы или продвижения. 

UU
На сайте с 01.01.2024
Offline
8
#7
sarkis28 #:

в разделе вебмастера есть опция , по какой скорости боту ходить на ваш сайт . 
Быстробот   - он всегда был . 
Проблема тут либо в ресурсах сервера либо в оптимизации ваших запросов . 
К примеру , на моих сайтах боты делают примерно 30 запросов в секунду  и это никак не сказывается на производительности . 
Параметры 4 ядра  3.1 Ггц, 8 оперативы, centos, apache, mariadb 10.1, innoDB . Загрузка сервера примерно 40%

Да, но на моей памяти ещё не было, чтобы сайт чуть больше чем за сутки появился в Яше и все новые товары/записи появляются в течение пары часов. 

Artisan
На сайте с 04.03.2005
Offline
355
#8
UnclexUncle #:
Вообще никаких инструментов не было использовано для рекламы или продвижения.
UnclexUncle #:
сайт чуть больше чем за сутки появился в Яше и все новые товары/записи появляются в течение пары часов. 

Возможно (browser.yandex.ru) используете,

или ещё что-то из Yandex полезностей.

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
LEOnidUKG
На сайте с 25.11.2006
Offline
1727
#9
Если уж просто сайт ложится от Яндекса, то лучше сразу менять хостинг. Там то ещё и гугл придёт, а там бинг и ещё реальные пользователи + ещё яндекс опять... жуть как страшно жить. 
✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
Uncle 301
На сайте с 23.04.2024
Offline
13
#10
UnclexUncle #:
Во вторых трафика по несколько ГБ в сутки по боту.

А как вы поняли, что это именно бот Яндекса? Айпи точно яндексовский?

UnclexUncle #:
В третьих на этом "хостинге" стоит сайт, который выдерживал 40к посещений без каких-либо проблем и сейчас спокойно выдерживает 1-2к в сутки. 

Это от сайта зависит. На одном и том же хостинге два разных сайта могут вести себя очень по-разному: один будет 40к в сутки выдерживать, другой при 1k будет постоянно лежать. Посмотрите вот тут графу «Число HTTP-запросов» и сравните проблемный сайт с тем сайтом, который выдерживал 40k в сутки.

sarkis28 #:
в разделе вебмастера есть опция , по какой скорости боту ходить на ваш сайт . 

Есть такая опция, но трогать её не нужно.

Artisan #:

Возможно (browser.yandex.ru) используете,

или ещё что-то из Yandex полезностей.

+1
👉 За Русь в ТОП-1 ворвусь 👈
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий