Чьи боты?

12 3
S
На сайте с 04.02.2007
Offline
318
svv
3677

На днях чьи то боты как с цепи сорвались - просканировали весь сайт вдоль и поперёк.

IP сеть: 95.163.118.ХХХ , где ХХХ - менялись через непродолжительные промежутки времени.

Данные броузера подставляют при каждом заходе разные.

Кто это и зачем сканят?

Samail
На сайте с 10.05.2007
Offline
347
#1

Парсят видимо

Mik Foxi
На сайте с 02.03.2011
Offline
1021
#2

Смотрите whois, не видите там яндекса - баните в nginx и прочем фаерволе всю подсеть.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html + партнерка, до 100$ с продажи.
S
На сайте с 04.02.2007
Offline
318
svv
#3

Заблокировал, конечно.

Но подумалось, а вдруг Яндекс какие то "скрытые" IP придумал для проверки контента а тут я со своей блокировкой :)

donc
На сайте с 16.01.2007
Offline
646
#4
svv:
а вдруг Яндекс какие то "скрытые" IP придумал для проверки контента а тут я со своей блокировкой

А это вам плевать. Если робот официально не представился яндексом или вообще - идет в пень.

Контент на клоаку проверяют конечно, но чуть по другому.

А на этом SEO-форуме поиск работает ( http://webimho.ru/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
Bot Inspector
На сайте с 04.06.2018
Offline
9
#5

1. боты яндекса ходят не только с яндекса (но в данном случае – это не они, у них другое поведение)

2. по поведению, как и сказали, очевидно, что парсят сайт

3. сеть вполне легитимная, но принадлежит гибридному провайдеру, который и домашний интернет раздает и сервера в аренду сдает, так что забанить действительно можно

4. впрочем проблему (если она есть вообще) это решит только временно

аудит трафика/детект склика и другие приключения Инспектора и Бота (/ru/forum/1007795)
S
На сайте с 04.02.2007
Offline
318
svv
#6

Ещё один интересный бот.

Приходит в основном с IP: 194.15.119.17 - судя по всему это провайдер в Реутове.

Но один раз заходил с IP: 95.108.141.49 - это провайдер " Yandex enterprise network"

Кто это может быть?

Заходит всегда на страницы двух одних и тех же товаров.

Bot Inspector
На сайте с 04.06.2018
Offline
9
#7

а как вы определили что это один и тот же бот, по какому параметру?

makag
На сайте с 01.05.2013
Offline
112
#8

ip на скрине - какая-то Nessly Company )

А я просто использовал браузерное расширение Yandex Access, для входа вк.

Иногда в разделе "безопасность" вк проскакивает и Yandex enterprise network.

Может это просто порядочные пользователи, использующие впн от яндекса?

S
На сайте с 04.02.2007
Offline
318
svv
#9
Bot Inspector:
а как вы определили что это один и тот же бот, по какому параметру?

В вэбвизоре это хорошо видно, когда видишь что кто то заходил 100 и более раз, фильтруем по посетителю за неделю, там и видны все его посещения и разные IP если они есть. Чтобы видеть IP нужно код метрики немного откорректировать.

---------- Добавлено 15.06.2018 в 13:18 ----------

makag:


ip на скрине - какая-то Nessly Company )
А я просто использовал браузерное расширение Yandex Access, для входа вк.

Иногда в разделе "безопасность" вк проскакивает и Yandex enterprise network.

Может это просто порядочные пользователи, использующие впн от яндекса?

Благодарю.

Выходит этого товарища блокировать не стоит :)

Mik Foxi
На сайте с 02.03.2011
Offline
1021
#10
svv:

Благодарю.
Выходит этого товарища блокировать не стоит :)

почему? https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html все кто не представляется легитимным яндексом - того можно безболезненно посылать в бан, если это не юзер.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий