Как определить наверняка, что сайт качается программой?

L
На сайте с 17.02.2012
Offline
30
948

Приветствую! Собственно требуется определить, до отдачи php страницы целиком, не программой ли скачивается в данный момент сайт. Есть же какие-то особенности, которые отличают такую программу от посетителя?

eis
На сайте с 18.10.2008
Offline
473
eis
#1

leswart, открытие последовательно большого количества страниц с одинаковым интервалом ☝

- Здесь я покупаю вечные ссылки на свои сайты! (https://backlinkator.com) - сотни ссылок за копейки
L
На сайте с 17.02.2012
Offline
30
#2

А какие-нибудь изощренные методы есть - например преход по кнопке без наведения на неё курсором?

L
На сайте с 07.12.2007
Offline
351
#3

Никак. Парсеры (и накрутчики ПФ) сейчас ходят нормальными браузерами с мобильных IP-адресов Мегафон, Билайн, МТС, Yota через прокси типа таких и постоянно меняют IP адрес на новый. Поэтому они почти ничем не отличаются от легитимных посетителей.

Такие отлавливаются только эвристически-статистическими методами, а это далеко не "пару строк на php".

PS: В некоторых конкретных случаях удаётся отловить и таких, но это тема, увы, не для паблика.

L
На сайте с 17.02.2012
Offline
30
#4

Спасибо за ответы! А как насчёт перехода по скрытой ссылке, например картинка прозрачная размер 1px, посетитель врятли перейдет по такой, а парсер наткнется

L
На сайте с 07.12.2007
Offline
351
#5
leswart:
А как насчёт перехода по скрытой ссылке, например картинка прозрачная размер 1px, посетитель врятли перейдет по такой, а парсер наткнется

Да, наткнётся, и что? Он второй запрос будет делать с другого IP и с другим ЮзерАгентом. Для третьего запроса - снова их поменяет.

Вы так все мобильные сети перебаните.

Плюс, по таким скрытым ссылкам перейдут роботы всех поисковых систем.

obriy
На сайте с 04.01.2014
Offline
25
#6

... настроить работу сайта через CDN и фильтровать роботов...

Solmyr
На сайте с 10.09.2007
Offline
501
#7
Ladycharm:
Он второй запрос будет делать с другого IP и с другим ЮзерАгентом.

Если есть заход на какую-то страницу, без предварительного посещения страницы, на которой есть ссылка на эту страницу - признак вполне самостоятельный. Банить можно сразу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий