Заливается абсолютно все, весь сайт целиком, клон статический. Rss это детское баловство по сравнению с этим грабером, классы переписать - они автоматом переписываются у клона за полсекунды, ему абсолютно это все фиалетово, повторяюсь, грабится весь сайт целиком.---------- Добавлено 13.09.2014 в 17:05 ----------
Все уже побанено, нашелся спец, который поставил нехилую защиту на сайт 🍿
Да я это понял сразу, нет никаких совпадений, бот эмулирует как обычный браузер, для него невозможно правило написать, нет никаких отличительных признаков. По сути создано зеркало моего сайта на фридомене, и вся редактируемая инфа стразу отражается на нем. Бан по ip вашим методом тоже не прокатил, так мы узнали ip домена, на котором стоит клон, но не ip парсера. И да, то что я писал выше про 20 запросов в секунду, это не парсер. Это запросы к картинкам при открытии страницы пользователями.
Гы, Яндекс походу на брикет перешел, второй день уже ап запускает, никак запустить не может 😂
какой регион, от куда такой кипиш?
ему на это абсолютно по..... так же как и платонам---------- Добавлено 12.09.2014 в 21:27 ----------
забанил сначала SetEnvIfNoCase User-Agent "^Mozilla 5.0" в хтаццесс, клон 403, после чего сделал по вашей рекомендации и вычислил ip грабера, забанил на двигле, благодарю за помощь, но ip поменялся и клон раздуплился. Вобщем забанил тупо Мозилу 4.0 и 5.0, у клона 403 Forbidden
образно, досчитал до 100. Можно ослепнуть, да еще и всех пс забанить случайно
все стабильно как в стакане
ту видите-ли, бывает, что не все есть в контенте. Если к примеру пишется статься, где купить попугая, как его кормить и в какой клетке содержать, то тогда- да! Но если есть к примеру: скачать игру марио полной версии на русском языке бесплатно через торрент на компьютер без регистрации и смс - то, у меня например такого текста в принципе быть не может на странице. Вот чтобы охватить весь этот пул, дискрипшен и добивается нч ключами.
да лабуда итак будет, пс сами знают что сувать в сниппет. Не по всем запросам дескрипш вылазит, но я все равно его заполняю, чтобы добить нч.
обычно они индексируются, на сапе полно такой "шляпы"
