Яндекс бота теперь никак не остановить?

123 4
Mik Foxi
На сайте с 02.03.2011
Offline
924
3917

На роботс директиву яндекс забил, вроде даже новости были официальные по этому поводу, это теперь не работает:

User-agent: Yandex

Crawl-delay: 2.0

Как его теперь замедлить кроме как через яндекс вебмастер?

Пока от бешенства яндекса утихомириваю его выдавая в 10% обращений 503 Service Temporarily Unavailable :lol:

Антибот защита сайта от накрутки поведенческих, от спама, взлома и поиска xss, от хит и клик ботов, от парсинга и кражи контента, снижение нагрузки на сервер - https://antibot.cloud/ Вам все еще конкуренты генерят отказы?
Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

foxi, а зачем? Если ваш сайт не способен даже индексирование пережить, однозначно надо что-то "в консерватории" поправить, например кэширование сделать.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
Mik Foxi
На сайте с 02.03.2011
Offline
924
#2

Оптимизайка, 20к запросов в минуту от яндекса периодически идет. Яндекс боты легитимные, логировал, проверял. вдс за 5$ :D Все оптимизировано и настроено. Но 250 пхп процессов не справляются, в итоге ни себе ни другим ботам сервер не работает.

[Удален]
#3

Хорошая, годная тема. И единственным выходом выглядит lm/ims/304. Ну и/или кеширование. Но вдруг есть идеи лучше?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#4

foxi, если использовать кэширование на уровне nginx, ни каких "250 php процессов" не будет.

Тем не менее, 300 запросов в секунду - это явный overkill, такого я не видел. Обычно ну 30 бывает на сайтах с большим количеством страниц. Скорость обхода зависит от их количества. Возможно, у вас открыто много мусорных, технических страниц, дублей. Попробуйте через robots.txt их скрыть.

Mik Foxi
На сайте с 02.03.2011
Offline
924
#5

Miha Kuzmin (KMY), сервер кеширован и оптимизирован, все данные к которым идет обращение уже и так в мемкешеде, но поведение яндекса не адекватно в количестве и скорости запросов, причем выкачивает одно и тоже по 5 раз в сутки. Увеличу ресурсы сервера - он просто сможет выкачать еще больше.

[Удален]
#6
Оптимизайка:
foxi, если использовать кэширование на уровне nginx, ни каких "250 php процессов" не будет.

Для многих проектов не подходит в принципе(

---------- Добавлено 29.10.2018 в 16:59 ----------

foxi:
Miha Kuzmin (KMY), сервер кеширован и оптимизирован, все данные к которым идет обращение уже и так в мемкешеде, но поведение яндекса не адекватно в количестве и скорости запросов, причем выкачивает одно и тоже по 5 раз в сутки. Увеличу ресурсы сервера - он просто сможет выкачать еще больше.

Кешированные данные завешивает? Что-то странно. А там точно в виде запрос -> выдали кеш и все?

Mik Foxi
На сайте с 02.03.2011
Offline
924
#7

Оптимизайка, количество страниц вполне адекватное, но яндекс их качает по 5 раз в день минимум, сейчас когда дропаю 10% обращений, если не дропать, он бы каждую страницу выкачал еще больше.

header'ы Expires Last-Modified и даже Cache-Control установлены чтоб он не являлся сюда в ближайшие дней 10, но все равно в среднем приходится 5 запросов на страницу.

Перекешировать в nginx все запросы я уже не могу, вся оперативка и так потрачена.

Оптимизайка
На сайте с 11.03.2012
Offline
396
#8
foxi:
все данные к которым идет обращение уже и так в мемкешеде

Тогда откуда берутся php процессы? Не должно при адекватном кэшировании с помощью memcached доходить до сервера приложений ничего. Заголовок кэшированных ответов Last-Modified/If-Modified-Since выставляется адекватно?

Mik Foxi
На сайте с 02.03.2011
Offline
924
#9

Оптимизайка, запрос идет к пхп, пхп берет данные в мемкешеде. Когда количество обращений адекватное, то данные такие:

Время ответа сервера 90 мс

Время генерации страницы: 0.0061 Sec.

Потребление памяти: 380.5156 Kb.

Last-Modified/If-Modified-Since выставлено, с If-Modified-Since кстати приходит только 0.005% ботов.

[Удален]
#10

foxi, у вас что-то не так в бобине. Лучше в вебмастерский раздел.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий