- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На днях чьи то боты как с цепи сорвались - просканировали весь сайт вдоль и поперёк.
IP сеть: 95.163.118.ХХХ , где ХХХ - менялись через непродолжительные промежутки времени.
Данные броузера подставляют при каждом заходе разные.
Кто это и зачем сканят?
Парсят видимо
Смотрите whois, не видите там яндекса - баните в nginx и прочем фаерволе всю подсеть.
Заблокировал, конечно.
Но подумалось, а вдруг Яндекс какие то "скрытые" IP придумал для проверки контента а тут я со своей блокировкой :)
а вдруг Яндекс какие то "скрытые" IP придумал для проверки контента а тут я со своей блокировкой
А это вам плевать. Если робот официально не представился яндексом или вообще - идет в пень.
Контент на клоаку проверяют конечно, но чуть по другому.
1. боты яндекса ходят не только с яндекса (но в данном случае – это не они, у них другое поведение)
2. по поведению, как и сказали, очевидно, что парсят сайт
3. сеть вполне легитимная, но принадлежит гибридному провайдеру, который и домашний интернет раздает и сервера в аренду сдает, так что забанить действительно можно
4. впрочем проблему (если она есть вообще) это решит только временно
Ещё один интересный бот.
Приходит в основном с IP: 194.15.119.17 - судя по всему это провайдер в Реутове.
Но один раз заходил с IP: 95.108.141.49 - это провайдер " Yandex enterprise network"
Кто это может быть?
Заходит всегда на страницы двух одних и тех же товаров.
а как вы определили что это один и тот же бот, по какому параметру?
ip на скрине - какая-то Nessly Company )
А я просто использовал браузерное расширение Yandex Access, для входа вк.
Иногда в разделе "безопасность" вк проскакивает и Yandex enterprise network.
Может это просто порядочные пользователи, использующие впн от яндекса?
а как вы определили что это один и тот же бот, по какому параметру?
В вэбвизоре это хорошо видно, когда видишь что кто то заходил 100 и более раз, фильтруем по посетителю за неделю, там и видны все его посещения и разные IP если они есть. Чтобы видеть IP нужно код метрики немного откорректировать.
---------- Добавлено 15.06.2018 в 13:18 ----------
ip на скрине - какая-то Nessly Company )
А я просто использовал браузерное расширение Yandex Access, для входа вк.
Иногда в разделе "безопасность" вк проскакивает и Yandex enterprise network.
Может это просто порядочные пользователи, использующие впн от яндекса?
Благодарю.
Выходит этого товарища блокировать не стоит :)
Благодарю.
Выходит этого товарища блокировать не стоит :)
почему? https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html все кто не представляется легитимным яндексом - того можно безболезненно посылать в бан, если это не юзер.