Опять про защиту от парсинга

Ну я не мастер пока, "я пока только учусь" ;), но постараюсь ответить/обосновать.

"скорость сканирования сайта, если быстрее - 1-й звоночек" - неплохо

"невидимую ссылку на всех страницах" - смотря какая ссылка, и как грабить сайт. Я, к примеру, "пауков" практически не пишу, если парсю, то именно те ссылки по которым мне нужна инфа. Хотя могу заглянуть и по скрытой ссылке, но не факт.

"бан по IP + проверка по whois" - возможно нубский ответ, но разве все это не измениться при применении проксей?

В целом, как раз планирую заняться проксями так что после этого стану более компетентным. Но по крайней мере, если прокся действительно анонимная, как в таком случае распознать - 100 страниц в минуту открыто с одного компа или со 100 разных ?

При парсинге использую ТОР, так что такие решения не помогут. Подумаю как защититься, и тогда отпишусь.

Видел когда-то прикольную защиту. Там на каждой странице была невидимая картинка 1*1. Браузер честного юзверя её тащил, а тупые боты же не тащат. На основании этого айпишники ботов быстро улетали в бан на пару суток. Можно то же самое прикрепить к джаваскриптам. Конечно, при таком подходе будут страдать люди, у которых отключены картинки/джавоскрипты, но таких довольно мало. Но если кто-то уж целенаправленно взялся сграбить ваш сайтик - то этого не избежать.

Проблема по клиенту не решаема?

Если клиент не гугль и не яндекс (а они подписываются) и запросов много, то IP заносится в базу...

если клиент не понятный, то банится... можно по большому счету и сразу, но не всегда надо...

Можно легко имитировать подпись Яндекса и Гугла

сейчас это уже не проблема, яндекс научился распознавать первоисточник!

Нифига он не научился еще толком.

О! новость, гы-гы

как неумел так и не умеет, это пока нереально

А вообще захотят спарсить, так спарсят, ни чего не спасет