Форум Сайтостроение Администрирование серверов

Лимиты без ограничений для googlebot и yandex

J
На сайте с 06.07.2011
Offline
160
jano
564

Подскажите пожалуйста, как правильно дописать данное ограничение что бы оно не действовало для хороших поисковых ботов: 


	limit_conn_zone $binary_remote_addr zone=perip:10m;

	limit_conn perip 4;

	limit_conn_status 503;

	

	limit_req_zone $binary_remote_addr zone=dyn:10m rate=8r/s;

	limit_req zone=dyn burst=10;

	limit_req_status 503;

Задрали досить, ставить на неделю Under Attack Mode на cloudflare - всё затихает. Снимаешь галочку и через пару недель опять.

M2
На сайте с 11.01.2011
Offline
342
mark2011
#1

jano, досят наверняка из левых стран... Китай, Тайвань, Бразилия, Индия, Таиланд и т.д. Советую в ipset / iptables прописать запреты на доступ из этих стран и всё будет ок.

------------------- Крутые VPS и дедики. Качество по разумной цене ( http://cp.inferno.name/view.php?product=1212&gid=1 ) VPS25OFF - скидка 25% на первый платеж по ссылке выше
Евгений Крупченко
На сайте с 27.09.2003
Offline
178
Евгений Крупченко
#2

и будут дальше продолжать из сша и европ всяких. это частично поможет конечно, но не решение.

конечно надо смотреть конкретный случай, но по своему опыту, количество адресов с которых это делают обычно относительно небольшое.

смотрим логи, находим закономерности. например какой-то пик был в такое-то время и там много разных ip, но у всех один в один user agent - скриптом собираем все адреса до кучи и баним.

дальше мониторим...

или общей может быть asn - тоже, по всем логам скрипт пусть пройдется, посмотрит asn всех ip, которые только заходили и адреса из провинившейся asn в баню.

вот одна из забаненых у меня на одном из проблемных сайтов:

https://bgp.he.net/AS26484#_prefixes

где тут китай с бразилиями.

куча запросов шло с сша какраз.

и естественно это все не ддос, а так, баловство :)

часто просто очень тупые боты-парсеры-сканеры с десятками-сотнями запросов в секунду в сочетании с далеко не хорошо сделанным сайтом (вместо статики или хотяб кэша, каждый раз туча запросов к базе, куча скриптов выполняется и т.п.).

правильно сделанные сайты вообще подобный "ддос" не замечают, и тысячу запросов в секунду принять не проблема.

J
На сайте с 06.07.2011
Offline
160
jano
#3
mark2011:
jano, досят наверняка из левых стран... Китай, Тайвань, Бразилия, Индия, Таиланд и т.д. Советую в ipset / iptables прописать запреты на доступ из этих стран и всё будет ок.

Эти страны ещё давно добавил в бан: Китай, Бразилия, Гонконг, Сингапур. Досят сейчас к сожалению из хороших стран.

---------- Post added 10-06-2020 at 11:28 ----------

EvGenius:
и будут дальше продолжать из сша и европ всяких. это частично поможет конечно, но не решение.
конечно надо смотреть конкретный случай, но по своему опыту, количество адресов с которых это делают обычно относительно небольшое.
смотрим логи, находим закономерности. например какой-то пик был в такое-то время и там много разных ip, но у всех один в один user agent - скриптом собираем все адреса до кучи и баним.
дальше мониторим...
или общей может быть asn - тоже, по всем логам скрипт пусть пройдется, посмотрит asn всех ip, которые только заходили и адреса из провинившейся asn в баню.
вот одна из забаненых у меня на одном из проблемных сайтов:
https://bgp.he.net/AS26484#_prefixes
где тут китай с бразилиями.
куча запросов шло с сша какраз.

и естественно это все не ддос, а так, баловство :)
часто просто очень тупые боты-парсеры-сканеры с десятками-сотнями запросов в секунду в сочетании с далеко не хорошо сделанным сайтом (вместо статики или хотяб кэша, каждый раз туча запросов к базе, куча скриптов выполняется и т.п.).
правильно сделанные сайты вообще подобный "ддос" не замечают, и тысячу запросов в секунду принять не проблема.

Аналогичная ситуация, спасибо, мысли были на счёт скрипта. Нужно написать, у большинства user-agent Win Xp, Win 7. Думаю вправду пару дней все обращения с этих ИП добавить в бан.

Arle9
На сайте с 05.09.2019
Offline
7
Arle9
#4

Здравствйуте!

Для блокировки ботов рекомендуем использовать функции веб сервера, а также другие инструменты (описаны ниже).

ШАГ 1.

заблокируйте вредоносных ботов, которые уже зарекомендовали себя в сети как вредоносные.

Их можно заблокировать через nginx или apache (.htaccess файл)

Подробно описано по ссылке:

https://my.foxcloud.net/ru/kb/drugie-stati/kak-zablokirovat-vredonosnyh-botov.php

ШАГ 2.

Если нагрузка продолжается, заблокируйте вредоносных ботов, которые атакуют именно ваш сайт.

Кроме публично-известных ботов, есть и другие вредоносные. Всегда хорошо знать, кто именно посещает ваш сайт и, зная user-agent посетителей (ботов), вы сможете заблокировать точечно.

Найти user-agent ботов можно в access логе сайта, пример:

cat ./ваш_сайт.access.log | grep -i "bot"

Внесите найденных вредоносных ботов в уже имеющийся список блокировок, который сделан в Шаге 1.

Шаг 3.

Если к сайту приходят обращения от полезных ботов (yandex, google, bing и др.), уменьшите скорость их обхода.

Инструкция для yandex ботов:

https://yandex.ru/support/webmaster/service/crawl-rate.html

Инструкция для google ботов:

https://support.google.com/webmasters/answer/48620?hl=ru

https://www.foxcloud.net/ (https://www.foxcloud.net/)
Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#5

Arle9, плохие идеи. Ддос надо останавливать до сервера, а не на сервере.

jano, в клаудфларе настройте фаервол, можно легко уложиться в бесплатные правила:

Думаю общий ход мысли понятен? Under Attack при этом скорее всего и не понадобится, чтоб лишний раз не напрягать юзера.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
[Удален]
#6

foxi, это же клон /ru/users/1118088 отвечал, он обычно даже не понимает смысл вопроса.

H
На сайте с 01.04.2014
Offline
571
Had
#7
mark2011:
jano, досят наверняка из левых стран... Китай, Тайвань, Бразилия, Индия, Таиланд и т.д. Советую в ipset / iptables прописать запреты на доступ из этих стран и всё будет ок.

Это не выход. Например, мои сайты много народа посещает из Таиланда и Индии. Зачем ТС-у терять траф пусть и скорее всего небольшой?

J
На сайте с 06.07.2011
Offline
160
jano
#8
Arle9:
Здравствйуте!

Для блокировки ботов рекомендуем использовать функции веб сервера, а также другие инструменты (описаны ниже).

ШАГ 1.
заблокируйте вредоносных ботов, которые уже зарекомендовали себя в сети как вредоносные.

Их можно заблокировать через nginx или apache (.htaccess файл)
Подробно описано по ссылке:
https://my.foxcloud.net/ru/kb/drugie-stati/kak-zablokirovat-vredonosnyh-botov.php

ШАГ 2.
Если нагрузка продолжается, заблокируйте вредоносных ботов, которые атакуют именно ваш сайт.
Кроме публично-известных ботов, есть и другие вредоносные. Всегда хорошо знать, кто именно посещает ваш сайт и, зная user-agent посетителей (ботов), вы сможете заблокировать точечно.
Найти user-agent ботов можно в access логе сайта, пример:
cat ./ваш_сайт.access.log | grep -i "bot"

Внесите найденных вредоносных ботов в уже имеющийся список блокировок, который сделан в Шаге 1.

Шаг 3.
Если к сайту приходят обращения от полезных ботов (yandex, google, bing и др.), уменьшите скорость их обхода.

Инструкция для yandex ботов:

https://yandex.ru/support/webmaster/service/crawl-rate.html

Инструкция для google ботов:

https://support.google.com/webmasters/answer/48620?hl=ru

Написал обыденные вещи, которые до этого уже были сделаны в самом начале. Не все ссылки работают.

---------- Post added 10-06-2020 at 21:54 ----------

Had:
Это не выход. Например, мои сайты много народа посещает из Таиланда и Индии. Зачем ТС-у терять траф пусть и скорее всего небольшой?

У меня тоже траф из разных стран и банить данные страны не вариант.

Сейчас я добавил наверно около 50 ASN сетей в общей сложности получается скорее всего несколько миллионов IP адресов, но не думаю, что это правильно. Много ип попали под раздачу и бывают же они динамичными.

---------- Post added 10-06-2020 at 21:55 ----------

Miha Kuzmin (KMY):
foxi, это же клон /ru/users/1118088 отвечал, он обычно даже не понимает смысл вопроса.

100% копипаст, у него и ссылка даже не работает.

---------- Post added 10-06-2020 at 21:58 ----------

foxi:
Arle9, плохие идеи. Ддос надо останавливать до сервера, а не на сервере.
jano, в клаудфларе настройте фаервол, можно легко уложиться в бесплатные правила:

Думаю общий ход мысли понятен? Under Attack при этом скорее всего и не понадобится, чтоб лишний раз не напрягать юзера.

Спасибо, смысл понятен. Я отпишусь к тебе в скайп, буду признателен, если поможешь советом.

У вас есть источник Магазин Доменов Рег.ру - Настройка конверсионной рекламы Яндекс

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий