- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).
а смысл этих сложностей? если в юзерагенте указано что это бот, да пофиг абсолютно настоящий он или прикалывается ----------> путь один, нахрен 😂
---------- Добавлено 07.05.2015 в 11:06 ----------
Еще заметил что у гуглбота не заполнен HTTP_ACCEPT_LANGUAGE, зато заполнен HTTP_FROM = googlebot(at)googlebot.com
А у меня по всем барузерам(IE,Chrome,Opera,Firefox) HTTP_ACCEPT_LANGUAGE заполнен, а HTTP_FROM - пуст
В общем все понятно, осталось взять и сделать ) Да и вообще давно пора
совнршенно правильно, и не только у гуглоботов,
и да интересна была бы такая фишка как фильтровать по HTTP_ACCEPT_LANGUAGE - к примеру мне надо показывать слив только тем юзерам, у кого мы определили язык как ru, остальных пускаем лесом.
ну такую фичу конешно надо делать отключаемой.
Серверную часть стоит сделать отключаемой? Чтобы client.php не ходил на server.php.
Или в этой теме смысла нет без централизованного сбора адресов?
Серверную часть стоит сделать отключаемой? Чтобы client.php не ходил на server.php.
Или в этой теме смысла нет без централизованного сбора адресов?
на мой взгляд именно централизованный сбор и управление наиболее важная вещ,
очень было бы удобно.
а смысл этих сложностей? если в юзерагенте указано что это бот, да пофиг абсолютно настоящий он или прикалывается ----------> путь один, нахрен 😂
User-Agent это переменная, в которой содержится объём сферического коня в вакууме. Я находил, где UG ни чем не отличаются от обычных пользователей, а DNS гугла.
---------- Добавлено 07.05.2015 в 12:26 ----------
а про остальное почитай для интересу http://javascript.ru/unsorted/id#javascript
Спасибо, в свободное время почитаю, вдруг, что-то новое под черпну.
---------- Добавлено 07.05.2015 в 12:29 ----------
Хотя... По поводу DNS, я сейчас подумал... У гугла же есть прокси для пользователей "турбо режима". Надо собирать статистику и смотреть.
User-Agent это переменная, в которой содержится объём сферического коня в вакууме. Я находил, где UG ни чем не отличаются от обычных пользователей, а DNS гугла.
Скриптам дора обратный резолвинг делать будет тяжко, но можно разнести логику.
То есть брать логи апача, выгружать в утилитку, а она возьмет ipы без дублей и сделает многопоточный обратный резолвинг.
Всех вычисленных ботов оптравляем на сервер в server.php
---------- Добавлено 07.05.2015 в 13:00 ----------
А вот яндекс бот заполняет язык:
[HTTP_ACCEPT_LANGUAGE] => ru, uk;q=0.8, be;q=0.8, en;q=0.7, *;q=0.01
[HTTP_FROM] => support@search.yandex.ru
[HTTP_USER_AGENT] => Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Немного сложнее
[HTTP_ACCEPT_LANGUAGE] => ru, uk;q=0.8, be;q=0.8, en;q=0.7, *;q=0.01
[HTTP_FROM] => support@search.yandex.ru
[HTTP_USER_AGENT] => Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Немного сложнее
ну как то логичней наверно будет показывать фигу вместо слива даже если совпадает одно из условий, к примеру:
ип в блеклисте,
юзерагент в блеклисте,
ланг пустой или не тот что мы хотим.
Хотя... По поводу DNS, я сейчас подумал... У гугла же есть прокси для пользователей "турбо режима". Надо собирать статистику и смотреть.
Посмотрел, вот че дает турбо режим: google-proxy-66-249-81-129.google.com
По поводу ip - я вполне уверен, что ПС их как и провайдеры покупают диапазонами. Т.ч сервер должен уметь составлять диапазоны. И если ip который прислал клиентский скрипт входит в диапазон. В ответ ему присылать дополнительно весь диапазон, чтобы уменьшить кол-во обращений от клиентского скрипта.
В общем слово google в реверсном днсе - это не повод для блэклиста. А вот googlebot - да.
---------- Добавлено 07.05.2015 в 13:14 ----------
Т.ч сервер должен уметь составлять диапазоны. И если ip который прислал клиентский скрипт входит в диапазон. В ответ ему присылать не один IP, а весь диапазон, чтобы уменьшить объём кол-во обращений от клиентского скрипта.
Логично, записал
т.е если мой бот пробежится по выдаче, то весь траф с моей подсетки забаните ? 😮 так весь тырнет перебанить не долго общими усилиями :)