ankhorr: Я, конечно, слабо шарю в парсерах, но может даже озвученная безумная идея поможет?
тс, бот парсит контент именно с сайта или при помощи рсс?
если первый вариант, то мож имеет смысл сменить названия ксс-классов, чтобы тот блок, что раньше был областью контента теперь стало каким-то бесполезным кусочком футера?
Это не решит проблему бота, но может испортить результат на фрихосте.
Если парсит с рсс, то отруби рсс или смени урл ленты.
И, кста, фрихосты ж не очень положительно относятся, если сайты на их серверах нарушают какие-то законы, мо имеет смысл почитать правила фрихоста и накатать обоснованную абузу?
Кста,а картинки на злодейщицком сайте где располагаются? Подтягиваются с твоего серва или закачиваются на его?
Если второй вариант, то мо зальешь под видом картинки шелл, а потом подключишься и тупо снесешь все? :)
Заливается абсолютно все, весь сайт целиком, клон статический. Rss это детское баловство по сравнению с этим грабером, классы переписать - они автоматом переписываются у клона за полсекунды, ему абсолютно это все фиалетово, повторяюсь, грабится весь сайт целиком.
---------- Добавлено 13.09.2014 в 17:05 ----------
Den73: ну тогда продолжайте в пустую тратить врем и банить ип :)
Все уже побанено, нашелся спец, который поставил нехилую защиту на сайт 🍿
LEOnidUKG: Это вы сейчас 50% юзерей забанили обычных....
Просто IP фильтруйте и всё. У него не бесконечные они.
Да я это понял сразу, нет никаких совпадений, бот эмулирует как обычный браузер, для него невозможно правило написать, нет никаких отличительных признаков. По сути создано зеркало моего сайта на фридомене, и вся редактируемая инфа стразу отражается на нем. Бан по ip вашим методом тоже не прокатил, так мы узнали ip домена, на котором стоит клон, но не ip парсера. И да, то что я писал выше про 20 запросов в секунду, это не парсер. Это запросы к картинкам при открытии страницы пользователями.
Den73: банить не нужно ибо бред, попросите хостера пофильтровать ботов в режиме реального времени
ему на это абсолютно по..... так же как и платонам
---------- Добавлено 12.09.2014 в 21:27 ----------
LEOnidUKG: Не нужно образно.
Создайте страницу чистую в корне с названием test.php, туда запишите строчку:
<? echo $_SERVER['SERVER_ADDR']; ?>
Сохраняйте и пробуйте вызвать эту страницу на сайте клоне. Она будет вам показывать через какие IP запрашивается ваш сайт. Далее уже вы знаете, что делать 🍿
забанил сначала SetEnvIfNoCase User-Agent "^Mozilla 5.0" в хтаццесс, клон 403, после чего сделал по вашей рекомендации и вычислил ip грабера, забанил на двигле, благодарю за помощь, но ip поменялся и клон раздуплился. Вобщем забанил тупо Мозилу 4.0 и 5.0, у клона 403 Forbidden
Windakolit: Зачем прописывать его, если все есть в контенте?
ту видите-ли, бывает, что не все есть в контенте. Если к примеру пишется статься, где купить попугая, как его кормить и в какой клетке содержать, то тогда- да! Но если есть к примеру: скачать игру марио полной версии на русском языке бесплатно через торрент на компьютер без регистрации и смс - то, у меня например такого текста в принципе быть не может на странице. Вот чтобы охватить весь этот пул, дискрипшен и добивается нч ключами.
Я, конечно, слабо шарю в парсерах, но может даже озвученная безумная идея поможет?
тс, бот парсит контент именно с сайта или при помощи рсс?
если первый вариант, то мож имеет смысл сменить названия ксс-классов, чтобы тот блок, что раньше был областью контента теперь стало каким-то бесполезным кусочком футера?
Это не решит проблему бота, но может испортить результат на фрихосте.
Если парсит с рсс, то отруби рсс или смени урл ленты.
И, кста, фрихосты ж не очень положительно относятся, если сайты на их серверах нарушают какие-то законы, мо имеет смысл почитать правила фрихоста и накатать обоснованную абузу?
Кста,а картинки на злодейщицком сайте где располагаются? Подтягиваются с твоего серва или закачиваются на его?
Если второй вариант, то мо зальешь под видом картинки шелл, а потом подключишься и тупо снесешь все? :)
Заливается абсолютно все, весь сайт целиком, клон статический. Rss это детское баловство по сравнению с этим грабером, классы переписать - они автоматом переписываются у клона за полсекунды, ему абсолютно это все фиалетово, повторяюсь, грабится весь сайт целиком.
---------- Добавлено 13.09.2014 в 17:05 ----------
ну тогда продолжайте в пустую тратить врем и банить ип :)
Все уже побанено, нашелся спец, который поставил нехилую защиту на сайт 🍿
Это вы сейчас 50% юзерей забанили обычных....
Просто IP фильтруйте и всё. У него не бесконечные они.
Да я это понял сразу, нет никаких совпадений, бот эмулирует как обычный браузер, для него невозможно правило написать, нет никаких отличительных признаков. По сути создано зеркало моего сайта на фридомене, и вся редактируемая инфа стразу отражается на нем. Бан по ip вашим методом тоже не прокатил, так мы узнали ip домена, на котором стоит клон, но не ip парсера. И да, то что я писал выше про 20 запросов в секунду, это не парсер. Это запросы к картинкам при открытии страницы пользователями.
Гы, Яндекс походу на брикет перешел, второй день уже ап запускает, никак запустить не может 😂
Позиции скачут, пошел апдейт!
какой регион, от куда такой кипиш?
банить не нужно ибо бред, попросите хостера пофильтровать ботов в режиме реального времени
ему на это абсолютно по..... так же как и платонам
---------- Добавлено 12.09.2014 в 21:27 ----------
Не нужно образно.
Создайте страницу чистую в корне с названием test.php, туда запишите строчку:
<? echo $_SERVER['SERVER_ADDR']; ?>
Сохраняйте и пробуйте вызвать эту страницу на сайте клоне. Она будет вам показывать через какие IP запрашивается ваш сайт. Далее уже вы знаете, что делать 🍿
забанил сначала SetEnvIfNoCase User-Agent "^Mozilla 5.0" в хтаццесс, клон 403, после чего сделал по вашей рекомендации и вычислил ip грабера, забанил на двигле, благодарю за помощь, но ip поменялся и клон раздуплился. Вобщем забанил тупо Мозилу 4.0 и 5.0, у клона 403 Forbidden
IP, Ой да ладно бесконечный.
100-500 штук? :)
образно, досчитал до 100. Можно ослепнуть, да еще и всех пс забанить случайно
СеоПульт показывает шторм 2014-09-12 - 21.06 %
Средь бела дня заштормило, что-то новенькое
все стабильно как в стакане
Зачем прописывать его, если все есть в контенте?
ту видите-ли, бывает, что не все есть в контенте. Если к примеру пишется статься, где купить попугая, как его кормить и в какой клетке содержать, то тогда- да! Но если есть к примеру: скачать игру марио полной версии на русском языке бесплатно через торрент на компьютер без регистрации и смс - то, у меня например такого текста в принципе быть не может на странице. Вот чтобы охватить весь этот пул, дискрипшен и добивается нч ключами.
Если не хотите в сниппете получить абсолютно левую лабуду, заполняйте description
да лабуда итак будет, пс сами знают что сувать в сниппет. Не по всем запросам дескрипш вылазит, но я все равно его заполняю, чтобы добить нч.
Я просто не в курсе как они индексируются.
обычно они индексируются, на сапе полно такой "шляпы"