- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Поправил пост, внес в алгоритм ua и размещение ссылки.
А как язык посетителя не можем определить если заголовок "Accept-Language" не передан?
---------- Добавлено 07.05.2015 в 00:07 ----------
Для сбора базы ботов можно использовать скрытые ссылки, по которым перейдут только боты.
Изначально нужна база ip ботов, желательно что бы была возможность работы с диапазонами, так же желательно фильтровать еще по юзер агенту
Ну так я про скрытые ссылки и написал же. Если с пустым анкором или анкором, никак не мотивирующим по нему переходить. Например таким: ©
Ну и про диапазоны я тоже написал: Формат адресов: конкретный адрес1, адрес1-адрес2, адрес1/31
---------- Добавлено 07.05.2015 в 00:11 ----------
нет поддержки флеша -----> бот
Флеш думаешь стоит проверять? Я себе его уже года два не ставлю, щас вроде как мода на html5 )
Поправил пост, внес в алгоритм ua и размещение ссылки.
Флеш думаешь стоит проверять? Я себе его уже года два не ставлю, щас вроде как мода на html5 )
да это необезательно впринципе.
---------- Добавлено 07.05.2015 в 00:22 ----------
Поправил пост, внес в алгоритм ua и размещение ссылки.
Ну так я про скрытые ссылки и написал же. Если с пустым анкором или анкором, никак не мотивирующим по нему переходить. Например таким: ©
я прямо на морде доров в верхнем углу ставил ссылку на страницу для отлова ботов типа "help" "faq"
ничем не скрытую - за два месяца ни одна зараза по ней кроме ботов так и непереходила 😂 нехотят люди хелпы читать, а хотят картинки с сиськами
отключены кукисы -----> бот
не шаволит мышкой -----> бот
Проверить отключены ли кукисы можно только так: установить кукис через пых, а потом через js проверить есть ли кука. За 1 обращение к php скрипту никак не узнать отключены ли кукисы у посетителя, так как технически установка кукиса - это ли заполнение заголовка, отправляемого браузеру. А вот установилась ли она можно узнать только на 2м обращении, которое может произойти от второго посещения или от js скрипта.
Также и с шевелением мышкой - только js скриптом это можно узнать.
Вот только я не уверен что боты выполняют скрипты. А если выполняют, то это хитроботы, и им ничего не стоит и мышкой пошевелить и кукисы показать.
Вот и хз че тут сделать можно
Проверить отключены ли кукисы можно только так: установить кукис через пых, а потом через js проверить есть ли кука. За 1 обращение к php скрипту никак не узнать отключены ли кукисы у посетителя, так как технически установка кукиса - это ли заполнение заголовка, отправляемого браузеру. А вот установилась ли она можно узнать только на 2м обращении, которое может произойти от второго посещения или от js скрипта.
Также и с шевелением мышкой - только js скриптом это можно узнать.
Вот только я не уверен что боты выполняют скрипты. А если выполняют, то это хитроботы, и им ничего не стоит и мышкой пошевелить и кукисы показать.
Вот и хз че тут сделать можно
да, эти фишки на js разве что реализовать можно.
Все что связано с js палится на ура самим браузером, как бы вы не кодировали js код - исполняет его браузер, и думаю хрому или яндекс браузеру не составит труда отправить нужную инфу куда надо
---------- Добавлено 07.05.2015 в 02:09 ----------
Проверить отключены ли кукисы можно только так: установить кукис через пых, а потом через js проверить есть ли кука. За 1 обращение к php скрипту никак не узнать отключены ли кукисы у посетителя, так как технически установка кукиса - это ли заполнение заголовка, отправляемого браузеру. А вот установилась ли она можно узнать только на 2м обращении, которое может произойти от второго посещения или от js скрипта.
Ну-ну, а если так ;)
Все что связано с js палится на ура самим браузером, как бы вы не кодировали js код - исполняет его браузер, и думаю хрому или яндекс браузеру не составит труда отправить нужную инфу куда надо
да и пусть отправляют, что с того? милионы сайтов ставят кукисы, проверяют гео и пр. 😂 а проводить техническо-логический анализ каждому говнокоду на каждом говносайте у гуглей голова опухнет 😂
В шаблоне делаем инклуд скрипта client.php в хедер.
Можно ещё таким способом.
---------- Добавлено 07.05.2015 в 02:39 ----------
Ну-ну, а если так ;)
Топер правильно сказал не умничайте, почитайте как общается браузер с сервером. Когда вы вызываете SetCookie это ещё не обозначает, что у клиента сразу появится эта кука, это значит, что на севере в заголовок ответа добавилась строка с куками, а установится она тогда когда придёт ответ от сервера клиенту. А узнать сервер сможет лишь тогда когда клиент пошлёт заголовок ещё раз(то есть когда зайдёт на страницу ещё раз).
---------- Добавлено 07.05.2015 в 02:43 ----------
нет поддержки флеша -----> бот
Все айфоны боты. Средствами php ни как не узнать установлен ли на клиенте флеш, если клиент это сам не сообщит. А он вроде о таком не сообщает.
не шаволит мышкой -----> бот
Хз как поведёт себя сенсор.
---------- Добавлено 07.05.2015 в 02:43 ----------
нет поддержки флеша -----> бот
Все айфоны боты. Средствами php ни как не узнать установлен ли на клиенте флеш, если клиент это сам не сообщит. А он вроде о таком не сообщает.
не шаволит мышкой -----> бот
Хз как поведёт себя сенсор.
---------- Добавлено 07.05.2015 в 02:49 ----------
Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).
Для этого необходимо выполнить следующее:
Для интересующего user-agent определите IP адрес по логам вашего сервера. Все роботы Яндекса представляются с помощью заданных User-Agent.
По полученному IP адресу определите доменное имя хоста, используя обратный DNS запрос.
После определения имени хоста, Вы можете проверить, принадлежит ли он Яндексу. Имена всех роботов Яндекса заканчиваются на 'yandex.ru', 'yandex.net' или 'yandex.com'. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.
Напоследок удостоверьтесь в корректности полученного имени. Для этого нужно использовать прямой DNS запрос (forward DNS lookup), чтобы получить IP адрес, соответствующий имени хоста. Он должен совпадать с IP адресом, использованным при обратном DNS запросе. Если IP адреса не совпадают, это означает, что полученное имя хоста поддельное.
gethostbyaddr()
Ещё как вариант, могу предложить, накидать Топеру логи заходов на сервер. Он спарсит оттуда IP и подсчитает количество вхождений. IP с максимальным кол-во вхождений - боты. Ну или не логи сервера скидывать, а вести логи с помощью клиентского скрипта, потом когда клинт первый раз приконектится к серверу с ключём(читайте ниже про него). Адрес дора пропишется в логах серверного скрипта(с периодом например на 1 сутки). В течении этих суток, серверный скрипт может постучатся на скрипт клиента(естественно тоже по ключу) и попросить предоставить лог в виде xml(читайте про soap). Тут кстати можно вести ограничения, если какой-то клиент при нескольких в подряд запросах от серверного зажопил логи, то и ему на какое-то время шиш с маслом, а не логи(получается как бы бартер, ты мне я тебе).
Для общения клиентов с вервером использовать curl + soap. В запросе от клиента к серверу, должен передаваться закриптованный ключ пандоры или какой-то иной ключ, который можно получить только владельцам пандоры.
да и пусть отправляют, что с того? милионы сайтов ставят кукисы, проверяют гео и пр. 😂 а проводить техническо-логический анализ каждому говнокоду на каждом говносайте у гуглей голова опухнет 😂
Я имел ввиду не про куку, а про всякие маскировки на js, особенно в даунлоад нише
Все айфоны боты. Средствами php ни как не узнать установлен ли на клиенте флеш, если клиент это сам не сообщит. А он вроде о таком не сообщает.
Хз как поведёт себя сенсор.
Нормально сенсор поведет, проверено,
а про остальное почитай для интересу http://javascript.ru/unsorted/id#javascript
Еще заметил что у гуглбота не заполнен HTTP_ACCEPT_LANGUAGE, зато заполнен HTTP_FROM = googlebot(at)googlebot.com
А у меня по всем барузерам(IE,Chrome,Opera,Firefox) HTTP_ACCEPT_LANGUAGE заполнен, а HTTP_FROM - пуст
В общем все понятно, осталось взять и сделать ) Да и вообще давно пора