Bot Inspector

Bot Inspector
Рейтинг
9
Регистрация
04.06.2018
Должность
inspecting traffic
Интересы
inspecting traffic in part time
know all about bots

а как вы определили что это один и тот же бот, по какому параметру?

каким либо образом надо посмотреть чистый реферер с которым они приходят, и исходя из этого делать выводы.

если его вообще не будет, то можно немножечко социальной инженерией заняться, и сделать окно "получите шанс выиграть ифон х рассказав нам откуда вы пришли на сайт" – с полем для ввода урла.

1. боты яндекса ходят не только с яндекса (но в данном случае – это не они, у них другое поведение)

2. по поведению, как и сказали, очевидно, что парсят сайт

3. сеть вполне легитимная, но принадлежит гибридному провайдеру, который и домашний интернет раздает и сервера в аренду сдает, так что забанить действительно можно

4. впрочем проблему (если она есть вообще) это решит только временно

капчу скорее всего разгадывать не будет, но там и пользователь должен быть достаточно мотивирован, чтобы ее проходить.

плюс, скорее всего, придется отсеивать пользователей яндекс-браузера.

про клоакинг, теория вкратции тут

https://ru.wikipedia.org/wiki/%D0%9A%D0%BB%D0%BE%D0%B0%D0%BA%D0%B8%D0%BD%D0%B3

а по практике – если никто не поможет и есть подопытные сайты которым угрожает метка – стучитесь в лс, по я-ботам наработки есть, но на массе пока не тестировалось.

яндекс-боты определения вап-кликов ходят не представляясь яндексом

либо домен дроп заблокированный, либо хостится на заблокированном ip

судя по тому, что эти заходы отображаются в вебвизоре – скрипт фокси там не поможет, у него там по возможности поставить куки отсекаются боты.

те, кто в вебвизоре мышкой возят, куки уж точно способны ставить.

Pawel-asm:
Ну у вас хоть Европа, а у меня Россия, свой регион продвижения, и большинство вроде сотовые операторы... Даж не знаю, что с ними делать

ничего, потому что скорее всего это боты самого яндекса

в качестве противодействия – самому накручивать пф не имеет смысла, если только не хочется брать и заниматься накрутками по каким-то другим причинам.

потому что то, что выглядит как накрутка пф может быть чем угодно, в том числе ботом, который просто парсит контент для своих сайтов.

если закрыть всем не из РФ, то людям с VPN на не-РФ хостерах сайт будет также недоступен. процент их невелик, но будет расти.

конкретно в этом случае надо смотреть, вполне возможно что достаточно будет бана одного ип или сетки.

Всего: 53