- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На сайте для каждой статьи подсчитывается число ее просмотров. Стоит задача при подсчете отсечь как можно больше ботов (поисковых и прочих), чтобы статистика просмотров конкретной статьи была хотя бы чуть больше приближена к реальному числу просмотров живыми людьми. Нужно это для системы поощрения авторов. Подскажите, можно ли найти какие-то списки основных ботов?
На сайте для каждой статьи подсчитывается число ее просмотров. Стоит задача при подсчете отсечь как можно больше ботов (поисковых и прочих), чтобы статистика просмотров конкретной статьи была хотя бы чуть больше приближена к реальному числу просмотров живыми людьми. Нужно это для системы поощрения авторов. Подскажите, можно ли найти какие-то списки основных ботов?
Счетчик внутрь скрипта, скрипт срабатывает при прокрутке страницы
На сайте для каждой статьи подсчитывается число ее просмотров. Стоит задача при подсчете отсечь как можно больше ботов (поисковых и прочих), чтобы статистика просмотров конкретной статьи была хотя бы чуть больше приближена к реальному числу просмотров живыми людьми. Нужно это для системы поощрения авторов. Подскажите, можно ли найти какие-то списки основных ботов?
Добрый день! Для решения вашей задачи можно воспользоваться опцией в настройках Метрики «Фильтровать роботов по строгим правилам и по поведению», если счётчик уже установлен на странице. Подробнее можно почитать в Справке: https://yandex.ru/support/metrica/general/filters.html#robots
Девчушка, как у вас счетчик фиксирует посетителей, я так понимаю он самописный?.. больше информации нужно.
https://github.com/JayBizzle/Crawler-Detect
dma84, глянул сорцы, в этой поделке вся защита сводится же в проверке useragent. Так боты и будут сообщать, что они боты. Нет ничего проще сообщать любой useragent. Из самых простых способов в одну маленькую строчку отписали выше - сролл. Или что-то типа https://github.com/RoBYCoNTe/js-bot-detector первое попавшееся.
Не знаю подойдет ли но оставлю это здесь https://antibot.cloud/ru.html там есть бесплатная версия. Вам ее хватит с головой. На сайт лишние боты не попадут даже если сильно постараются. (за исключением поисковых).
Safronov,
Вот, не стоит доверять таким сервисам, домен Creation Date: 2018-07-09T04:41:03Z
Да и вопрос автора в другом. А данный сайт что-то сам себя защитить не может, раз cloudflare пользуются данные Украинские товарищи.
Вот вам логика:
1. На сайте отсечь всех ботов, кроме нужных (проверить сначала по User-Agent, затем обратным DNS-запросом).
2. Для нужных ботов установить переменную окружения.
3. Счетчик включать, если нет переменной окружения нужных ботов.
Понеслось... я опять прочитал кучу сообщений и ничего не понял. :)
Напишу, что я обычно делаю у себя.
Смотрите.
1) Проверяем Юзерагент (выше писали, что это и так есть).
2) Проверяем реферрер - откуда пришел запрос. Сравниваем с сайтом. Так за 2 строки отсекаем 90% ботов.
3) Закрываем счетчик для индексации в robots.txt
Нужно еще точнее?
Вызов счетчика через JavaScript.
Вызов через JavaScript, установив вначале куки сайта и потом - проверив ее наличие.
Вызов скриптом, если страница прокручена или было движение мыши (прокрутка пальцем).
Вот как-то так. А потом уже отсекать ботов, составлять из списки и прочее.
Обязательно через ajax и срабатывание на любое действие мышки и пальцев.
Никаких реферов, куков и т.д. не нужно, в данном случаи это не имеет значение.