Twickbot

Twickbot
Рейтинг
56
Регистрация
13.03.2017
200Online:
Вполне возможно, что ваша идея имеет плюсы с точки зрения бизнеса и применимости.

Да, очевидные плюсы имеет.

200Online:
И подойдет тем, чьи бизнес-процессы на ~90% совпадают с вашими.

Думаете, если с нашими "бизнес-процессами" будут совпадать на ~50%, то наш сервис не подойдет?

200Online:
Тогда тему можно было бы назвать "Клоакинг для слива траффика из FB"

Хм. Думаете, что наш сервис подходит только "для слива траффика из FB"?

А для "для слива траффика из VK" он уже не годится?

Почему?

200Online:
Но с позиций современных подходов к разработке архитектура с include несколько устарела.
И в рамках форума практически невозможно объяснить почему.

Почему?

200Online:
Возможно, если вы продолжите работу над сервисом, то через несколько лет согласитесь с преимуществами API перед включением каких-либо файлов.

А можно уже сейчас, не дожидаясь нескольких лет узнать о "преимуществах API перед включением каких-либо файлов"?

Хотя бы тезисно.

Недостатки я и сейчас вижу. Но, на мой вопрос, который я ранее Вам задавал о преимуществах Вы так и не ответили.

200Online:
Могу заранее подсказать вам правильный путь, если интересно.

Да, мне очень интересно.

Я внимательно посмотрел то, что Вы рекомендуете.

Разумеется, мы все это легко можем реализовать, т.к. на данный момент наш сервис на порядок сложнее и функциональнее того примитивного API, который Вы описали.

200Online:
...В админке не настраивается ничего, кроме оплаты, авторизации и уведомлений сервиса.

Да, я понял. Т.е. мы кастрируем ту функциональность, которая у нас есть сейчас, выбрасываем все, на наш взгляд, интересные функции, которые мы сделали исходя из опыта нескольких лет использования клоакинга.

Остается только получить ответ на вопрос "ЗАЧЕМ?".

С нетерпением жду от Вас ответа на него.

ro--ot:

Сообщение от 200Online
Тогда тему можно было бы назвать "Клоакинг для слива траффика из FB"
В точку.

Ваше мнение тоже очень важно для нас.

Если Вас не затруднит, аргументируйте, пожалуйста, почему Вы считаете, что наш сервис клоакинга нельзя использовать "для слива траффика из VK", а можно только "для слива траффика из FB"?

Мне реально интересно услышать ваше объяснение.

ro--ot:
Именно это было основной причиной...

Причина, что невозможно 100% отловить бота?

Так мы к этому и не стремимся.

Сервис мы делали под свои задачи. Сейчас просто решили сделать его публичным.

Клоакинг нам нужен был, чтобы рекламить дэйтинг по группам Фэйсбука. ФБ к дэйтингу крайне негативно относится.

Зато теперь наши посты практически не банятся.

Мы, кроме того, что фильтруем ботов по своей базе:

1. Не используем редирект, а просто вставляем код рекламного "пузыря" в контент страницы. Ботам, естественно, выдаем контент без рекламы, но, если какой-то "тайный" бот все-таки прорвется, то, он увидит минимальные изменения контента страницы.

2. Не клоачим первых 5 посетителей рекламируемой страницы. А в эту пятерку как раз попадают админы групп, которые аппрувят посты. И, их ИП автоматически заносятся в базу и в дальнейшем тоже никогда не клоачатся.

3. Клоачим только штатовцев, ибо только за них нормальные деньги платят.

4. Кого уже склоачили по данному посту, в будущем больше не клоачим.

Думаю, поэтому на наши посты жалоб практически не поступает.

Для этого нам и нужен такой сервис клоакинга.

Надеюсь, он сможет помочь зарабатывать и другим.

200Online:
API – это современное гибкое решение...

Честно говоря, не вижу никакой гибкости и современности.

У нас система клоакинга проста, как грабли:

1. Закачиваешь на свой сайт наш скрипт, который вставляешь инклюдом в индексный файл. Он тупо сообщает всю инфу о посетителе скрипту принятия решения о клоакинге на нашем сервере.

2. Закачиваешь на свой сайт файлики с контентом для клоакинга, который либо подменяет контент всей страницы, либо вставляет этот контент в страницу при клоакинге.

Все. Больше никаких действий со своим сайтом производить не надо.

3. Заходишь в админку сервиса через веб и настраиваешь хренову кучу параметров, для разных посетителей. Не буду приводить их все, но, их реально много. Есть блэклист, можно создавать много наборов правил для разных случаев, можно пробивать ботов по нашим базам и т.п.

4. В этой же админке смотришь статистику кого, куда, сколько и по какому набору правил отклоачили или по какой причине не отклоачили.

Где здесь место для API и зачем оно нужно?

Если все управление клоакингом идет через админку.

200Online:
Сейчас у вас есть возможность сделать API с множеством параметров

У нас и так есть возможность управлять множеством параметров через вебинтерфейс.

Чем API лучше вебинтерфейса?

200Online:
если не лезть в сферу ответственности TDS

Мы не ставили себе задач сделать TDS. У нас сервис клоакинга с расширенными возможностями. Функциональность мы делали исходя из наших интересов. Но, можем сделать любую функциональность, которую вообще можно сделать с помощью языков программирования.

Будут какие-то предложения по возможностям, которых у нас нет в данный момент, предлагайте. Если это будет интересно многим, сделаем без проблем.

---------- Добавлено 23.07.2017 в 23:27 ----------

ro--ot:
Проблема в отсутствии толковых, не дорогих, баз/сервисов для проверки IP.

А чего их проверять? По нашей базе ботов мы отслеживаем, думаю на 99,9%

100% гарантии отлова ботов не сможет дать никто.

Мы увеличиваем шансы не попасться боту (модератору, админу) дополнительными возможностями.

Например, как я уже писал выше, запоминаем первых посетителей, которые пришли по данному набору правил и никогда их не клоачим. Вероятность, что в первых рядах будет бот (модератор, админ) весьма высока.

Также, у нас есть, например, временные задержки начала клоакинга, после первого срабатывания набора правил. И т.д.

ro--ot:
Нужно сделать что бы в админке сервиса, клиент сам настраивал "уровень паранои",

У нас и так вебмастер имеет полный контроль над клоакингом. Настраивается все.

200Online:
В любом случае понадобится регулярно вычислять новые подсети и добавлять их в базу.

Если дело пойдет, то, конечно, будем следить за своевременными обновлениями.

200Online:
Если ваш сервис будет продавать обновления за умеренную цену, например, 5-10 USD в месяц за подписку, профессиональным дорвейщикам такое должно быть интересно.

Пока о продажах даже не думали. Но, думаю, что цена где-то такая и будет. В любом случае цена будет увеличиваться в зависимости от увеличения количества запросов к сервису. Но, пока о продажах еще рано говорить.

200Online:
Вы уже спроектировали API своего сервиса? JSON?

API не будет. Предлагается в начале индексного файла инклюдом вставить наш php файл, который просто до выдачи контента отсылает данные посетителя в наш сервис.

Все настройки клоакига производятся через вебинтерфейс. Там же, в админке, будет вся статистика клоакинга.

После, этот php файл получает от сервиса решение, клоачить данного посетителя или нет.

Клоакинг может быть:

- редирект на заданный УРЛ,

- полная замена контента,

- вставка своего контента в определенную часть вебстраницы.

200Online:
1. Ваши сервера могут лечь. Не железо, так канал.

От нагрузки может лечь любой сервер. Постараемся отслеживать нагрузку и добавлять новые мощности в случае необходимости.

Пока тестировали на своем трафе где-то около 50К запросов в сутки.

На этом трафе нагрузка почти нулевая.

Время отработки скрипта принятия решения при включении всех фильтров около 0.05 сек. С отключением многих фильтров 0.02 сек.

Кстати, в статистике время работы скрипта есть, т.ч. вебмастера сами могут смотреть, насколько клоакинг задерживает выдачу контента.

200Online:
2. Владельцы неохотно будут делиться всей информацией.

Ну, без предоставлению сервису данных о посетителе сервис просто не сможет работать.

200Online:
Как насчет self-hosted решения?

Кому сильно надо будет, без проблем продадим скрипты и настроим их и БД.

Но, только без интерфейса. Интерфейс к БД пусть сами прикручивают. А вообще мы сами софтинку HeidiSQL пользуем. ИМХО, лучше всяких вебинтерфейсов.

200Online:
И еще интересно, есть ли у вас собственные алгоритмы выявления замаскированных ботов или планируется ли их создание?

Пока у нас есть только то, что нужно было нам самим.

Например, запоминаются и не клоачатся первые IP адреса посетителей.

Когда в ФБ в группе публикуешь объявление, то оно не видно, пока модератор не разрешит его. Соответственно, его IP будет в числе IP первых посетителей.

В принципе, в дальнейшем мы можем организовать любые алгоритмы.

---------- Добавлено 23.07.2017 в 19:49 ----------

ro--ot:
Twickbot, вот по такому принципу было бы удобно - https://my.bseolized.com/doc/ipgrabber/api

ИМХО, у нас удобнее реализовано.

---------- Добавлено 23.07.2017 в 19:54 ----------

ro--ot:
И мне потом меньше допиливать

Допиливать что?

200Online:
Ваш литературный стиль не осуждаю, это дело вкуса.

Да. Можно сказать: "чукча не писатель, чукча - читатель".

200Online:
...что сервис может быть нерусскоязычным.

Ядро команды - русскоговорящие. Сервера, правда, все за бугром.

200Online:
Вижу, вы еще в начале пути.

Можно и так сказать. Сами свой сервис используем давно, но, публичный сервис клоакинга решили сделать впервые. Основной геморрой как раз с интерфейсами управления и документацией.

В данный момент сам сервис в основном работает, почти все крупные глюки поправили и занимаемся составлением руководств.

Кстати, если у кого будет желание потестировать сервис в том виде, в каком он сейчас (почти без доков, но, кто в теме, разберется с моей помощью) и высказать что можно "улучшить и углубить", а также подправить, если будет нужно, велком в Скайп: live:4e48e4a4f51365c4 .

200Online:
На днях только видел базу с 1 022 000 IP

Если в открытом доступе, поделитесь плз ссылкой, интересно будет сравнить.

Кстати, думаю, что если это база именно 1М IP адресов, то, она эквивалентна нашей базе 35К подсеток.

200Online:
Если часть сервиса будет бесплатной, то многих может заинтересовать.

Обязательно будет.

200Online:
А если будете публиковать базы на гитхабе, то и вовсе цены вам не будет

Об этом не думали.

200Online:
Вопрос похож на автоматический перевод с другого языка.

Вопрос составлял я лично. Если не секрет, что в вопросе дало повод для подобных ассоциаций?

200Online:
Сервис русскоязычный,

Интерфейс сейчас делаем на двух языках с переключением вручную: Английский и Русский.

200Online:
с поддержкой Яндекса?

Немного не понял, что значит "с поддержкой Яндекса"?

Если Вы имеете ввиду, определяет ли наш клоакинг боты Яндекса, то да, если речь идет о публичных ботах (а не всяких шпионах, прикидывающихся людьми).

У нас есть две базы ботов (в том числе и ботов Яндекса). Всего приблизительно 35000 записей:

- На основании User Agent.

- На основании подсеток IP адресов.

Проверка на "ботовость" может проходить (можно включить или выключить в настройках) в два этапа:

Сначала UA посетителя прогоняется по первой базе, если не найден,

то IP посетителя прогоняется по второй базе.

Базы потихоньку пополняются.

Думаю, что где-то 99.9% всех ботов мы определяем.

deltahost.com.ua:
Под парсеры и соцсети для Вас по $0.5 сделаем. Обращайтесь.
globalmoney:
Twickbot, могу предложить вам наши услуги.
Сделаем ip адреса по 30 рублей при аренде от 30 ip.

deltahost.com.ua, globalmoney, несколько вопросов:

1. Самый дешевый VPS по какой цене можете предложить?

2. Будет ли возможность в дальнейшем заменить IP на купленном VPS на IP из других подсеток?

3. Даете ли в довесок бесплатно /64 IPv6?

Заранее благодарю за ответы.

Спасибо. Пойду разбираться.

SEOKinG:
textkit.ru

Спасибо, но, как я понимаю, это программа в данный момент не работает:

http://textkit.ru/buy/

"Продажа новых копий программы приостановлена."

А что-нибудь еще типа этого, но, попроще?

Не нужна многофункциональность и управление контентом кучи сайтов.

Привет всем!

СтоИт такая задача:

Есть база текстов в формате html.

Нужно для каждого текста создать свою страничку и разместить там этот текст.

Естественно, для большого количества создание страничек вручную неприемлимо.

Есть ли какое-то готовое решение в виде плагина / отдельного скрипта / сервиса?

Лучше бесплатное.

Заранее благодарю за ответы.

Всего: 616