Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как закрыть сайт от ботов?

12
S
На сайте с 28.01.2018
Offline
19
Sheffff
#11
foxi:
kreat0r, согласен, gethostbyaddr на каждый запрос исполнять так себе идея.

на каждый -Да

а вот формировать белые и чёрные списки и проверять gethostbyaddr только новые IP - другое дело

Mik Foxi
На сайте с 02.03.2011
Offline
1223
Mik Foxi
#12
Sheffff:
на каждый -Да
а вот формировать белые и чёрные списки и проверять gethostbyaddr только новые IP - другое дело

Да, я так делаю в антиботе. Проверяю ptr только у тех кто должен быть белым ботом судя по юзерагенту и кеширую результат. Вообще тормозные gethostbyaddr чаще не на ботах, у которых вебсервера и норм скорость, а на юзерах, людей лучше не проверять.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
Сервер отдает 404 для Странные переходы из всех Запрет доступа к сайту
S
На сайте с 28.01.2018
Offline
19
Sheffff
#13
foxi:
Да, я так делаю в антиботе. Проверяю ptr только у тех кто должен быть белым ботом судя по юзерагенту и кеширую результат. Вообще тормозные gethostbyaddr чаще не на ботах, у которых вебсервера и норм скорость, а на юзерах, людей лучше не проверять.

Читал описание вашего скрипта и понял, что мы мыслим в этом плане почти одинаково :)

Я похожую штуку организовал для защиты своих сайтов

Насчёт людей... Но ведь боты могут косить под безвинных пользователей хрома, просто им нужно давать шанс...

Социальная сеть "Мой Мир.org" Господа, Дамы, друзья помогите!!! Подать в суд на
R
На сайте с 04.03.2009
Offline
94
Realtyman
#14

А что лучше отдавать яндексботу 403 или 444 ?

Ситуация такая, яндекс индексит много и очень много тупо создавая нагрузку на сервер . Но при этом трафа совсем не дает. Индекс есть и очень много. Трафа нет.

Весь траф идет с гугля. Вот и думаю забанить яндекс совсем.

У меня на Cloudflare домены проксируются.

Сейчас сделал 444

И теперь если под юзерагентом яндекса зайти, Cloudflare выдает

Error 520 Ray ID: 436374848639 • 2019-07-31 13:21:45 UTC

Web server is returning an unknown error

Это нормально или как?

Заголовки Last-Modified и If-Modified-Since Все о статусе «Страница Решение проблем скорости сайта:
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий