- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На один сайт стал долбиться странный грабер. Не могу понять логику его работы, что он делает и зачем.
Каждый день на сайте появляются несколько статей. И почти каждый день с кучи ip-адресов идет запрос на 1 новую статью , выбранную хз по какому принципу (скорее всего из rss-ленты).
user-agent для запросов в течение дня постоянный, например, сегодня
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36
ip-адреса:
23.232.145.52
209.161.108.5
195.154.168.125
209.161.96.4
23.247.182.57
198.50.142.77
104.156.208.202
192.171.250.110
104.128.16.232
104.128.24.94
104.128.29.106
209.161.96.45
и т.д., каждый день разные, но в течение дня повторяются.
Одна и та же статья долбится с интервалом от нескольких секунд до нескольких минут. Картинки не грузятся, только текст.
Через гугл искал дубли статей - не находится.
У меня не хватает фантазии, нафига грабер это делает, какая в этом логика?
После создания этой темы грабер пропал. Может быть совпадение. Может быть автор грабера читает серч :)
Но я не скучаю и нашел новый грабер со странным поведением.
В яндекс.метрике в статистике по странам увидел 100% отказов из Франции. Стало интересно, откуда французы на русском сайте и почему 100% отказов. Нашел в логе ip адреса "французов"
195.154.233.224
195.154.209.237
62.210.84.178
195.154.217.154
У всех один оригинальный user-agent
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.21 (KHTML, like Gecko) imgsizer Safari/537.21
Пробил эти ip адреса по логам нескольких сайтов и на каждом сайте они засветились.
Логика запросов
- грузится страница (referer пустой)
- грузится все картинки и скрипты этой страницы (referer - адрес страницы, как будто это нормальный браузер)
- куки (скорее всего) не сохраняет (иначе в яндекс.метрике не было бы 100% отказов)
И так с интервалом от нескольких минут до нескольких часов.
Закономерность в выборе страниц не нашел, по контенту привязки к Франции нет.
Яндекс.метрика считает этот грабер живым посетителем. liveinternet игнорирует.
Кому не скучно - посмотрите в логах своих сайтов эти ip и/или user-agent.
Хочется понять. что он делает и кому принадлежит. Может быть инструмент какой-то ПС для проверки на клоакинг?
Подскажите Скрипт аукциона SoldEngine у вас можно приобрести?