- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На один сайт стал долбиться странный грабер. Не могу понять логику его работы, что он делает и зачем.
Каждый день на сайте появляются несколько статей. И почти каждый день с кучи ip-адресов идет запрос на 1 новую статью , выбранную хз по какому принципу (скорее всего из rss-ленты).
user-agent для запросов в течение дня постоянный, например, сегодня
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36
ip-адреса:
23.232.145.52
209.161.108.5
195.154.168.125
209.161.96.4
23.247.182.57
198.50.142.77
104.156.208.202
192.171.250.110
104.128.16.232
104.128.24.94
104.128.29.106
209.161.96.45
и т.д., каждый день разные, но в течение дня повторяются.
Одна и та же статья долбится с интервалом от нескольких секунд до нескольких минут. Картинки не грузятся, только текст.
Через гугл искал дубли статей - не находится.
У меня не хватает фантазии, нафига грабер это делает, какая в этом логика?
После создания этой темы грабер пропал. Может быть совпадение. Может быть автор грабера читает серч :)
Но я не скучаю и нашел новый грабер со странным поведением.
В яндекс.метрике в статистике по странам увидел 100% отказов из Франции. Стало интересно, откуда французы на русском сайте и почему 100% отказов. Нашел в логе ip адреса "французов"
195.154.233.224
195.154.209.237
62.210.84.178
195.154.217.154
У всех один оригинальный user-agent
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.21 (KHTML, like Gecko) imgsizer Safari/537.21
Пробил эти ip адреса по логам нескольких сайтов и на каждом сайте они засветились.
Логика запросов
- грузится страница (referer пустой)
- грузится все картинки и скрипты этой страницы (referer - адрес страницы, как будто это нормальный браузер)
- куки (скорее всего) не сохраняет (иначе в яндекс.метрике не было бы 100% отказов)
И так с интервалом от нескольких минут до нескольких часов.
Закономерность в выборе страниц не нашел, по контенту привязки к Франции нет.
Яндекс.метрика считает этот грабер живым посетителем. liveinternet игнорирует.
Кому не скучно - посмотрите в логах своих сайтов эти ip и/или user-agent.
Хочется понять. что он делает и кому принадлежит. Может быть инструмент какой-то ПС для проверки на клоакинг?
Подскажите Скрипт аукциона SoldEngine у вас можно приобрести?