Запретить доступ к сайту всяким левым сервисам

Lord Maverik
На сайте с 15.04.2003
Offline
471
577

Сайт работает на апи, и имеет ограничение на количество вызовов в сутки.

При этом по сети шерстить куча куча всяких ботов, которые нафих не нужны, и только выбирают запросы почем зря. Сайт расчитан только на ру аудиторию.

Вижу несколько решений.

1. В htacess ограничить доступ по user-agent.

2. В роботос запретить всем бродить, кроме гугла, яндекса, майла, бинга.

3. Залочить всякие китайские айпи, японские и т.д.

У кого может есть готовые решения уже?

Для пункта 1 я добавил в конец .htaccess


RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SolomonoBot|SearchBot|MJ12bot|Ezooms|baiduspider|Synthesio|Purebot|bezonanet|netEstate|rogerbot|exabot|dotbot|gigabot|sitebot) [NC]
RewriteRule .* - [F,L]

Для пункта 2 пойдет ли такая штука:


Host: site.ru

User-Agent: *
Disallow:

User-Agent: *
Crawl-delay: 2

User-Agent: Googlebot
Allow: /

User-Agent: Yandex
Allow: /

User-Agent: Mail.Ru
Allow: /

User-agent: MSNBot/Bingbot
Allow: /

3. Какие то может есть блоки известные ip которые тоже можно смело побанить?

RedMall.Ru (https://redmall.ru) - Товары из Китая (Таобао, Tmall) с проверкой качества, скидка для форумчан 7% Партнерская программа 2 уровня: 5% + 5%. Подробнее. (https://redmall.ru/about/partner/)
W
На сайте с 17.10.2008
Offline
128
#1
Lord Maverik:


Для пункта 2 пойдет ли такая штука:

Host: site.ru

надо прописать в

User-Agent: Yandex

Тот, кто не согласен с моей точкой зрения, тот и на другие подлости способен. P.S. Ничто так не украшает человека как дружба с собственной головой
Lord Maverik
На сайте с 15.04.2003
Offline
471
#2
Webperets:
Host: site.ru
надо прописать в
User-Agent: Yandex

Не обязательно.

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

W
На сайте с 17.10.2008
Offline
128
#3

Не знал, спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий