sagamorr

Рейтинг
235
Регистрация
12.10.2012
11
Openso #:
Повторюсь -  подскажите, пожалуйста, актуальный список для блокировки всяких парсеров и краулеров для robots или  htaccess?
Зачем вам блокировать парсеры и краулеры? Тут обсуждают как блокироваться ПФ ботов.
Shelton724 #:
Первые результаты по заблоченным спам-сетям ip-шников и непоказа рекламы и метрики без рефов на 3 сайтах из РСЯ. Посещалка по метрике стала в 3-5 раз меньше, показатель роботности все равно остался на том же высоком уровне (это самое удивительное), где и как метрика находит столько роботов - понятия не имею. Упрощенно говоря, сделал самый примитивный счётчик на php сразу при получении запроса, показывает, к примеру, 1000 обращений к серверу, из них 600 без рефов, 100 роботы яндекса и гугла, остальные похожи на людей. Метрика по этому сайту показывает посещалку 1800, из которых 1200 роботы. Где она вообще нашла столько обращений к метрике, если к серверу их не было (галочка "принимать только с указанных адресов" проставлена)? Ну и по РСЯ: в общем и целом количество показов осталось на прежнем уровне. Т.е. упрощенно что при посещалке нефильтрованной на 1000 уников было 200 показов, что на отфильтрованной посещалке на 300 униках тоже 200 показов. Вывод: РСЯ отлично видит роботов и рекламу им не показывает хоть фильтруй их, хоть нет, а метрика фигачит вообще непонятные данные какие-то, абсолютно не имеющие отношения к реальности.

100% ботам реклама показывается и они на нее кликают.

Особенно в кампаниях на ретаргетинг, там весь этот мусор с прямых заходов сохраняется и им уже откручивают рекламу.

У меня был пример до установки CF, что в компании на ретаргетинг 90% кликов было из Тулы (хотя регион вся Россия). Я очень удивился и долго общался с поддержкой Яндекс, они конечно же ничего аномально не нашли.

Потом после настройки CF наткнулся на такую спам сеть AS52207 TULA-AS и все сразу встало на свои места.

От этого Яндекс не торопится боротся с ботами. С одной стороны качество выдачи становится не релевантным из-за накрутчиков, а с другой стороны боты - это значительная часть дохода от Директа.

igrek74 #:

1) 8402 - PJSC "Vimpelcom" (количество IP4 - 2,252,808)

2) 25513 - ASN-MGTS-USPD (количество IP4 - 466,432)

3) 42610 - NCNET-AS  (количество IP4 - 523,264)

Подскажите, пожалуйста, есть ли какой-то ПРОСТОЙ и НАДЁЖНЫЙ способ сопоставить название IP-сети из веб-визора с ASN, чтобы заблокировать/ограничить эту сеть в CF? И чтобы этим ASN не ограничивать лишние адреса?

Блокируйте в CF спам сети только на прямые заходы.

Искать AS сеть по IP можно через сервис - https://asnlookup.com

Shelton724 #:

А чего его смотреть. Простой код на php, если refferer пустой и нет в user_agent "google" или "yandex" - код метрики просто не вставляется на страницу. Сегодня ночью попробую новый эксперимент - распространю данное правило по другим сайтам, которые есть в РСЯ, чтобы вызывался код рекламы таким по такому условию, посмотрю, как повлияет на показатели в РСЯ подобное.

Получается у вас прямых заходов вообще не будет в Метрике.

Shelton724 #:

Ну если совсем тупой Яндекс - может подумать и так, а если заметит (если у него хоть как-то работают в сторону сравнения алгоритмы), что именно этих посетителей не пускает не только один сайт, а множество, то вполне может сделать правильные выводы.

Не берусь судить на сколько они тупые😁

Но такой эксперимент лучше делать на сайте, который не жалко, т.к риск в любом случае есть.

Shelton724 #:

Так в этом и фишка. Даже если на уровне сервера по таблицам роботы какой-то сети будут отбиваться, ходить многие из них (уже прогретые) не перестанут, потому что вполне продолжат выполнять свою функцию - возврат к выдаче, чтобы продолжить прогулку и потом остаться на прогоняемом сайте надолго. Просто их не будет на сайте. Да даже если их запускать на сайт, а просто не отдавать визиты в метрику такие и не показывать рекламу РСЯ и Адсенс - возможно (не точно, конечно) хоть какой-то толк будет.

Попробуйте, напишите потом.

Я как то ради эксперимента ставил попап форму, ботов отрезало полностью.

Единственная еще проблема - нормально исключения настроить, чтобы нужных ботов не отрезать.

P.S. Вот еще один момент. Через CF можно фильтровать только прямые заходы, а тут "под удар" пойдет весь трафик.

И как например Яндекс будет оценивать визиты ботов, которые перешли на ваш сайт из поиска, а в метрику данные не подгрузились.

Получается по логике яндекса сайт не доступен. Учитывая, что ботов они не могут отличить от слова совсем, то я думаю это скорее негативно на ПФ сайта повлияет.

DobriyParen #:
Ребят, помогите. После добавления сайта в Claudflare через несколько дней появилась проблема, не прогружаются ссылки с картинкой в соцсетях, раньше всё было нормально. 
Речь про вконтакте?
Shelton724 #:

А чего его смотреть. Простой код на php, если refferer пустой и нет в user_agent "google" или "yandex" - код метрики просто не вставляется на страницу. Сегодня ночью попробую новый эксперимент - распространю данное правило по другим сайтам, которые есть в РСЯ, чтобы вызывался код рекламы таким по такому условию, посмотрю, как повлияет на показатели в РСЯ подобное.

Получается боты так и будут долбится на ваш сайт, просто скриптом вы от них метрику скроете.

Теоретические может сработать, т.к обычная попап форма и загрузка метрики, только после ее закрытия - вполне рабочий вариант.

Сценарий обхода такого скрипта под ваш сайт никто делать не будет, хотя если такой метод получит популярность, то накрутчики легко его обходить будут.

Бред это со скрытием метрики.

На одном сайте стоял CF с блокировкой спам ботов по прямым заходам.

Через час после смены DNS пошли снова боты, за пару дней количество стало таким же как до подключения CF.

В базе накрутчиков домен, а не номер счетчика. Если домен попал в базу, то боты будут идти на сайт вне зависимости есть ли метрика или нет.

Новое пробитие от директа.

Есть кампания на ретаргетинг на РСЯ, с ручным управлением ставками.

Повышающих корректировок никаких нет, макс ставка - 90 руб.

Сегодня за 1 клик списалось 259 руб., получается превышение макс ставки на 287%.

Причем этого клика даже в метрике нет.

Всего: 1952