Как отличить бота от человека?

На своем опыте:

- проверка куков

- проверка referer (но рассчитывать не приходится)

- подпись всех запросов csrf_token'ом

- каждому пользователю по ajax делаю user_token. если токена у пользователя нет и он ломится на страницу - он 100% бот.

- блокирую гео: франция, нидерланды, эстония, сингапур, германия, сша. Из-за обилия дц, 90% ботов у меня оттуда. Использую SxGeo.

В итоге - судя по статистике ботов (все самопис на Yii2), все реальные люди не видят проблем, боты не проходят. Каптчи нигде нет :)

dimsog, все это не спасет. И яндекс и гугл и бесчисленное кол-во других ботов ходят как браузер, все это выполняя и подгружая.

Единственный способ, дающий 99.9% защиту и гарантию - это кнопка, отправляющая по нажатию пост запрос. Боты не жмут, проверено.

foxi, согласен. поэтому я подписываю все запросы токеном, а он в свою очередь приходит по Ajax. :)

Ботов гугла я фильтрую по подсети. Ботов яндекса фильтрую вручную, у них с IP все плохо в этом плане.

Но моя защита больше не от парсинга, а от отправки спама через формы.

Спама нет - факт :)

я по активности смотрю, если запросов слишком много, то ставлю на радар, при переходе допустимого предела, делаю выводы, если активность стихает, то с радара снимаю. Все это делает небольшой скрипт, полностью автоматически.

От ботов спасает только капча. Лучшего средства отсеять ботов пока еще не придумано.

r3b0t, в Метрике есть специальный отчет по роботам и метрика "Роботность" https://yandex.ru/support/metrika/reports/robots.xml

по поведению. на нажитие кнопок, движение мышью - разные такие вещи.

это могут и боты, но не парсеры, так что в большинстве случаев срабатывает

К сожалению это палка о двух концах. Чем больше каптчи, тем менее активны юзеры. Мнгих это отталкивает, а то и вообще отпугивает.

Да уж, бывает такую капчу повесят, что даже человеку сложно доказать, что он - не бот :))