Форум Поисковые системы Яндекс

Яндекс бота теперь никак не остановить?

1 234
[Удален]
#21
komdir:
а точнее? выложи что отдает сервер

Что, тоже не веришь? А надо верить людям :)

RedBird
На сайте с 10.05.2010
Offline
128
RedBird
#22

Пора открывать сервис по продаже Яндекс ботов. 🤪

🚀 Push партнерка с Header Bidding: https://t.ly/LuTl 🍋 Выжимай максимум со всех Push рекламных сетей.
Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#23
komdir:
а точнее? выложи что отдает сервер

проверял и через сервисы и в яндекс вебмастере. все норм.

пока придумал такое решение сдерживания https://pastebin.com/YpBe1HAM 🤣

кстати ресурсы сервера увеличивал в 6 раз, в DO это в пару кликов, в итоге сервер падал не от 300+ обращений в секунду, а от 1200+, но все равно падал.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
SocFishing
На сайте с 26.09.2013
Offline
118
SocFishing
#24
foxi:
Оптимизайка, 20к запросов в минуту от яндекса периодически идет. Яндекс боты легитимные, логировал, проверял. вдс за 5$ :D Все оптимизировано и настроено. Но 250 пхп процессов не справляются, в итоге ни себе ни другим ботам сервер не работает.

а мб это не бот, а вас ддосят под видом бота? проверьте принадлежность IP адресов 🙅

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.
LEOnidUKG
На сайте с 25.11.2006
Offline
1723
LEOnidUKG
#25

Фантастика какая-то. Надо сервер смотреть.

if ($load[0] > 2) {

На сервере 2 ядра?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#26

LEOnidUKG, настройка сервера в подписи - это ты не свои услуги пиаришь? ))

В данном коде 2 - это Load Average за последнюю минуту. На моих 1 ядерных серверах и моем софте при 2 LA они еще норм работают, но выше начинают подтормаживать.

SocFishing, это первое что я сделал, все легитимные яндекс боты.

Александр
На сайте с 17.07.2009
Offline
371
Александр
#27

Вот мне не понять, а почему при мемкешеде нельзя настроить всё отдавать именно из него, и при этом не дергать пхп?

Ну и ещё следует поинтересоваться, а яндекса это боты или кто-то балуется.

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
D
На сайте с 07.06.2012
Offline
48
denchrus
#28

limit_req пробовал?

http {

limit_req_zone $limit_bots zone=bots:10m rate=1r/m;

server {

location / {
set $bot '';

if ( $http_user_agent ~* yandex ) {
set $limit_bots $binary_remote_addr;
}

limit_req zone=bots burst=5 nodelay;
}

}


}

примерно как то так

komdir
На сайте с 14.10.2009
Offline
430
komdir
#29
foxi:
проверял и через сервисы и в яндекс вебмастере. все норм.
пока придумал такое решение сдерживания

тяжелый случай... Норм, это как?

Просто тупо выложи скан, что отдает сервер! Иначе разговор как об стенку...

D
На сайте с 28.06.2008
Offline
1101
Dram
#30
foxi:
Оптимизайка, запрос идет к пхп, пхп берет данные в мемкешеде.

А по правильному должно быть так - запрос к Nginx, он отдает данные из своего кеша.. Мемкеш можно выбросить.

Вот у меня php-fm + Nginx на ВПС за 14 евро (2 ядра, 16 гигов оперативы). Бот гугла делал 1500 запросов в сек и нагрузка была 20% всего!

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий