Борьба с ботами

Я парсил целые категории, долбить по главной нет смысла ..

Здравствуйте уважаемые, подскажите пожалуйста вы опредеяте ботов по времени проведенной на сайте? Или по роботности в метрике? 

По логам ..

Метрика в разделе роботность не точную цифру показывет? 

По метрикам поведения. Чисто для примера:

1. Три запроса в секунду – это бот. Если это реальный юзер в раздраженном состоянии молотит по Ctrl+R – пусть глубоко вдохнёт и успокоится, потом продолжит.

2. Смена UserAgent с сохранением IP в процессе работы – это бот. Если это реальный юзер лезет одновременно с десяти браузеров или смартфонов – пусть определится, в каком окне работать, потом продолжит.

3. Бессмысленные переходы – со страницы на неё же саму, многочисленные переходы на одну и ту же страницу с несуществующими GET-параметрами, с одной страницы на другую, на которую на предыдущей заведомо нет ссылок.

4. Многочисленные запросы служебных (/wp-content/library/system/) либо заведомо не существующих на сайте ресурсов, в том числе явно методом случайного перебора.

5. Нажатия невидимых кнопок-ловушек, взаимодействие с невидимыми элементами на страницах – полями input и select.

6. И наборот – ноль реакции на заведомо препятствующие просмотру сайта элементы.

7. Многократный игнор капчи.

И многое другое.

по факту забанивания сайтов в рекламой сети яндекса (РСЯ)

как 2-3 сайта у меня забанил РСЯ.. так все сайты, которые можно монетизировать, срочно подключил к CF и больше с CF не слажу

а вообще, когда боты полезут.. вы на счетчики учета посещаемости гляньте... она в эти моменты показывают нереально высокую посещаемость от той, что  обычно в среднем у вас бывает...