seoalbatros

Очень глобальный вопрос. "Роботы", "Прямые заходы", "Отказы" - это всё разное и единого подхода по исправлению всех проблем скопом нет. Конечно могу ошибаться и есть "ундервафэ".

Вообще, все эти понятия не висят в воздухе а имеют отношение к определённому конкретному счётчику. А именно к Я-Метрике.

Значит и надо вникать в то как это трактует Метрика.

С отказами ни всё так однозначно. Они не генерируются только ботами. Вполне себе приличные Человеки, точно так же создают "Отказы". А начав бороться с посетителями формирующими отказы, вполне можно загубить весь свой трафик.

Мне лично, очень не нравятся сайты, которые долго занимаются фейсконтролем. Чаще всего я их сразу закрываю и забываю о них.  Поэтому, скорее всего меня все сайты считают ботом.

Тем более, у меня на компе запрещены все известнве мне соединения ко всем счетчикам. Бот - чистый бот :)

А бороться с отказами просто. Выявите страницы кооторые больше всего дают отказы и добавьте их в Я-Метрике в Цели.

Согласно Я-Алгоритма, при достижении Цели Отказ не формируется. Вне зависимости сколько секунд посетительнаходился на странице.

Как поставлен вопрос ТС - такие и решения. Такое и обсуждение. Но посыл хорошь и понятен.

Только есть один нюанс, почему миссия не выполнима. Сложность точного определения Робот/Человек. В запрет "для всех" может легко попасть вполне себе приличный человек, использующий какой-нибудь экзотический интернет обозреватель. И наоборот, зловредный Бот, назвавший себя Гуглботом, сможет беспрепятственно выполнять свои деструктивные действия. 

Поэтому все алгоритмы идут по пути установки запрета входа на сайт конкретным выявленным Роботам. А не наоборот.

Полностью согласен - паника преждевременна. Время покажет.

В Adsense не дураки. Всё должны сделать правильно, если изучили опыт РСЯ.

А именно. Такую функцию как "недействительные клики" придётся исключить из важных инструментов воздействия на партнеров и обратиться к "роботности по поведению".

И мне придётся свой PFAntiBot допиливать.

Так что. Всё новое - это давно забытое старое. Запасаемся попкорном... 

"Когда знаю зачем, тогда знаю как". Это не моё выражение. Объяснять человеку "Зачем это ему надо" - дело неблагодарное.

Был вопрос: "почему до сих пор не нашли решение такой глобальной проблеме".

Мой ответ: "Решение есть".

А кому это надо, тот сам знает и применяет. Кому это не надо и непонятен смысл - уговаривать не буду.

Всё так. Но есть Но. Ни все посетители, которых Яндекс назвал роботами являются таковыми. Понаблюдайте в вебвизоре. Это издержки Я-алгоритма.

На счёт "какой толк". На твоём сайте какой-то злоумышленник гуляет своих роботов и ты же получаешь за это наказание. Это не справедливо.

А вот переформатировать трафик от злоумышленника в свою пользу - вот в чём толк.

Решение есть.

Но думаю, что оно не совсем легально.  По сути всё просто. До загрузки страницы с Я-скриптами выявлять посетителя, который в последующем будет признан ботом и заменять в куках его профиль на профиль 100%-ного человека.

Прверял на сайте, который не участвует в РСЯ. Волшебным образом роботность падает почти в ноль.

Хорошо бы если бы это было так. Но нет. Этот закон хорошо продуманный винтик репрессивного аппарата. Был бы сайт - а статья найдётся.

Я, по началу думал, что типа у меня на сайтах нет ни каких рекомендательных механизмов.

Ан, нет. Стоит код РСЯ. По сути, любой мало мальски продвинутой рекламной сетью используется именно рекомендательный механизм.

Получается: на сайте есть баннер РСЯ и ты не разместил на своём сайте алгоритм появления того или иного рекламного материала - бан.

Ого! Даже полностью заблокировать сайты. Явно непропорциональное действие.

Получается, что данная плашка токсична по своей сути. Значит правильно я отказался от показа рекламы в еэз и великобритании.

Ко всему на свете надо подходить без яростного фанатизма. Я же не предложил во время молитвы повредить лоб об пол.

Пауза для робота в 1 секунду, в концепции работы сети - ничто. Робот даже и не заметит, что его кто-то в чём-то ограничил. А серверу эта малость даст жить посвободней.

Так то, сайты бывают разные и поэтому к алогоритму работы надо подходить творчески.

Когда страница статическая, то ресурсы сервера практически не задействуются и тогда не жалко - пусть её 1000 ботов грызут хоть с частотой 1000 раз в секунду. nginx настроил и забыл.

А бывают сайты, когда страница строится тяжело с большим числом вычислений и dns запросов к разным ресурсам. В этом случае преимущество доступа к информации должно быть у человека, а ботов надо ограничивать, либо подсовывать им какую-то статическую страницу.

Это заблуждение, что если пришедший на сайт робот от гугла, то он может творить что угодно.

sanek1991, На счёт " с частотой порядка 20 - 30 раз в секунду. Продолжительность около 5-ти минут" - это небольшая нагрузка. Не стоит по этому поводу заморачиваться, но если нагрузку данный робот осуществляет реально непосильную для конкретно вашего сервера, то не опасайтесь и в скрипт сайта включайте ограничитель.

К примеру, пришёл повторно тот же бот раньше чем через 5 секунт - отдаёте ему код 205 и с надписю на английском "зайди через 5 сек."

Если это реально гуглбот, то он это понимает и начинает заходить пореже. И санкций и проблем из за этого не возникает. Я лично проверял.

На счет подозрения "гугл не гугл". Какая разница. В случае если робот оказывает непосильную нагрузку, в результате которой обычный посетитель не может попасть на сайт, но нафиг такого бота.

Роботов, в принципе надо не стесняться и притеснять, чтоб не разбушлатились. А то сейчас много чего непотребного в сети развелось.

К примеру GPTbot. Когда он приходит на сайт - это да. Кто сталкивался, тот знает.