Клоакинг. Кто-нибудь использует? В каких областях?

использую в дорах

Вопрос похож на автоматический перевод с другого языка.

Сервис русскоязычный, с поддержкой Яндекса?

P.S. Ясно, что в дорах используют почти все, кто работает с динамическими движками, в разной степени.

Вопрос составлял я лично. Если не секрет, что в вопросе дало повод для подобных ассоциаций?

Интерфейс сейчас делаем на двух языках с переключением вручную: Английский и Русский.

Немного не понял, что значит "с поддержкой Яндекса"?

Если Вы имеете ввиду, определяет ли наш клоакинг боты Яндекса, то да, если речь идет о публичных ботах (а не всяких шпионах, прикидывающихся людьми).

У нас есть две базы ботов (в том числе и ботов Яндекса). Всего приблизительно 35000 записей:

- На основании User Agent.

- На основании подсеток IP адресов.

Проверка на "ботовость" может проходить (можно включить или выключить в настройках) в два этапа:

Сначала UA посетителя прогоняется по первой базе, если не найден,

то IP посетителя прогоняется по второй базе.

Базы потихоньку пополняются.

Думаю, что где-то 99.9% всех ботов мы определяем.

Не секрет.

"...Причем используем не редирект, а просто вставка..." === "а простую вставку" ?

"...используем не редирект ... и не показывая рекламу ботам ..." - лишнее "и" либо "не показываем".

"...к нашему сервису клоакинга..." - сервис будет заниматься клоакингом, а не сайты клиентов? Скорее имеется в виду "к сервису определения ботов поисковых систем"?

"...использует в своей деятельности ... в ... областях деятельности..." + три "в" в предложении. Характерно для переводов.

Ничего личного. Ваш литературный стиль не осуждаю, это дело вкуса. Однако было предположение, что сервис может быть нерусскоязычным.

Вижу, вы еще в начале пути. На днях только видел базу с 1 022 000 IP, в основном "прикидывающихся людьми",

потому что if(strstr($userAgent, 'YandexBot') !== false) {} проще сделать без дополнительных сервисов.

Но сама идея интересная.

Если часть сервиса будет бесплатной, то многих может заинтересовать.

А если будете публиковать базы на гитхабе, то и вовсе цены вам не будет ☝

Да. Можно сказать: "чукча не писатель, чукча - читатель".

Ядро команды - русскоговорящие. Сервера, правда, все за бугром.

Можно и так сказать. Сами свой сервис используем давно, но, публичный сервис клоакинга решили сделать впервые. Основной геморрой как раз с интерфейсами управления и документацией.

В данный момент сам сервис в основном работает, почти все крупные глюки поправили и занимаемся составлением руководств.

Кстати, если у кого будет желание потестировать сервис в том виде, в каком он сейчас (почти без доков, но, кто в теме, разберется с моей помощью) и высказать что можно "улучшить и углубить", а также подправить, если будет нужно, велком в Скайп: live:4e48e4a4f51365c4 .

Если в открытом доступе, поделитесь плз ссылкой, интересно будет сравнить.

Кстати, думаю, что если это база именно 1М IP адресов, то, она эквивалентна нашей базе 35К подсеток.

Обязательно будет.

Об этом не думали.

Вероятно так и есть. Развернутый вариант подсеток.

В любом случае понадобится регулярно вычислять новые подсети и добавлять их в базу.

Если ваш сервис будет продавать обновления за умеренную цену, например, 5-10 USD в месяц за подписку, профессиональным дорвейщикам такое должно быть интересно.

А старую базу вполне можно и в паблик отправлять.

Вы уже спроектировали API своего сервиса? JSON?

Если подключать сетки дорвеев, то:

1. Ваши сервера могут лечь. Не железо, так канал.

2. Владельцы неохотно будут делиться всей информацией.

Как насчет self-hosted решения?

И еще интересно, есть ли у вас собственные алгоритмы выявления замаскированных ботов или планируется ли их создание?

Пример алгоритма:

- создаем десяток сайтов ханипотов

- добавляем в разные панели вебмастеров

- смотрим на хитрых ботов, которые выдают себя за людей одновременно на разных сайтах и добавляем их подсети в базу.

Twickbot, вот по такому принципу было бы удобно - https://my.bseolized.com/doc/ipgrabber/api

И мне потом меньше допиливать :)

Если дело пойдет, то, конечно, будем следить за своевременными обновлениями.

Пока о продажах даже не думали. Но, думаю, что цена где-то такая и будет. В любом случае цена будет увеличиваться в зависимости от увеличения количества запросов к сервису. Но, пока о продажах еще рано говорить.

API не будет. Предлагается в начале индексного файла инклюдом вставить наш php файл, который просто до выдачи контента отсылает данные посетителя в наш сервис.

Все настройки клоакига производятся через вебинтерфейс. Там же, в админке, будет вся статистика клоакинга.

После, этот php файл получает от сервиса решение, клоачить данного посетителя или нет.

Клоакинг может быть:

- редирект на заданный УРЛ,

- полная замена контента,

- вставка своего контента в определенную часть вебстраницы.

От нагрузки может лечь любой сервер. Постараемся отслеживать нагрузку и добавлять новые мощности в случае необходимости.

Пока тестировали на своем трафе где-то около 50К запросов в сутки.

На этом трафе нагрузка почти нулевая.

Время отработки скрипта принятия решения при включении всех фильтров около 0.05 сек. С отключением многих фильтров 0.02 сек.

Кстати, в статистике время работы скрипта есть, т.ч. вебмастера сами могут смотреть, насколько клоакинг задерживает выдачу контента.

Ну, без предоставлению сервису данных о посетителе сервис просто не сможет работать.

Кому сильно надо будет, без проблем продадим скрипты и настроим их и БД.

Но, только без интерфейса. Интерфейс к БД пусть сами прикручивают. А вообще мы сами софтинку HeidiSQL пользуем. ИМХО, лучше всяких вебинтерфейсов.

Пока у нас есть только то, что нужно было нам самим.

Например, запоминаются и не клоачатся первые IP адреса посетителей.

Когда в ФБ в группе публикуешь объявление, то оно не видно, пока модератор не разрешит его. Соответственно, его IP будет в числе IP первых посетителей.

В принципе, в дальнейшем мы можем организовать любые алгоритмы.

---------- Добавлено 23.07.2017 в 19:49 ----------

ИМХО, у нас удобнее реализовано.

---------- Добавлено 23.07.2017 в 19:54 ----------

Допиливать что?

ro--ot пишет о подходе, который ему удобно было бы использовать в TDS (zTDS), разработкой и поддержкой которой он занимается (см. соседнюю ветку форума). И не только ему было бы удобно, потому что API – это современное гибкое решение, в отличие от антипаттерна Vendor Lock, который вы предлагаете.

Если ваш сервис попытается частично дублировать или заменять функционал TDS, дорвейщикам будет неудобно его использовать. А написать полноценную TDS - сложное и долгое занятие. При живом конкуренте (Keytaro) цена коммерческого проекта будет измеряться миллионами рублей.

Сейчас у вас есть возможность сделать API с множеством параметров.

Например, с возможностью указывать уровень "паранойи", принимать дополнительные параметры типа header ов.

Для промо-целей можно сделать публичную JS библиотеку для детектирования поддельных браузеров.

Вобщем, в этой узкой нише можно отлично развернуться, если не лезть в сферу ответственности TDS.

Проблема в отсутствии толковых, не дорогих, баз/сервисов для проверки IP.

Эта ниша свободна и спрос есть.

Нужно сделать что бы в админке сервиса, клиент сам настраивал "уровень паранои", по каким базам проверять и тд.

Со всеми остальными задачами справится ТДС.