бегло пробежался, сайты-клоны не имеют страниц в яндексе.
Копия ваших сайтов сделаны именно через доступ к FTP и базам данных, т.к. функционал сайтов работает. Это мог сделать один из хостеров где ваши сайты висели раньше или сейчас висят.
Можно усложить работу парсеров, но это только спасет от универсальных ботов. Если кому-то именно ваш сайт очень понадобится, пробьют всё что угодно.
1. Скрипт, который блочит на 2 часа ip юзера, если тот посещает больше 10 страниц за 30 сек. Нужных роботов по useragent или известным подсетям пропускаем.
2. роботов которые имеют useragent поисковиков надо обрабатывать отдельно. Тут потребуется небольшая задержка, пока ip передастся в таблицу, там проверится. Обычно уходит 10-20 секунд на проверку.
А определить робота поисковиков можно по ptr записи ip (примерно такие будут spider65.yandex.ru, crawl-66-249-67-72.googlebot.com и т.д.). Контрольно я проверяю еще whois.
3. На сайте на главной делаем ссылку картинку размером в 1px, которую может посетить только робот, т.к. человек явно её не найдет. Тоже баним на месяцок такой ip
У себя такое реализовал года 2 назад. Могу сказать, что на данный момент из 4900 ip, которые представились поисковыми роботами 1025 ip являются действительно ip поисковых систем, остальные парсеры, которые идут лесом для всех моих сайтов.
Ну, а про то как вычислить хитроботов поисковиков не расскажу ))
Тоже плотно работаю в этом направлении (только по ru). Могу сказать, что ваш скрипт слижком прост, чтобы перехватывать нормальные незабаненные домены, да еще и с тиц.
technomaster, вы уверены что они сразу реестр мониторят? Назовите такого регистратора?
Вы просили у них freebsd?
Сами серваки то может без сидюков, а в чем проблема загрузчик с нужной ОС поставить на временном сидюке по usb?
Dinok, я анализирую много сайтов.
Хоть мегаинтересный контент, но сайт молодой и продающий ссылки, то он вылетает.
Сейчас снимайте сапу, пишите платонам, ждите "трастовости", набирайте ссылочную массу.
Такие уж дни настали, а сайт уберите из подписи, скопируют и глазом не моргнут.
Брать стоит, методики хорошие, обновления ТС присылает регулярно.
Додумав некоторые методики нашел свои еще более свежие методы по накачке пузомерок.
Я тоже сначала начал искать обертку к ГД, однако это не потребовалось, т.к. реально там несколко строк кода получается.
Вот эта статья неплохо иллюстирует возможности ГД по нашей теме.
да, причем очень простым кодом, используя GD.
Т.е. можно без проблем встроить в админку своего сайта.
Кстати, мой эксперимент с простым поворотом картинки на 2гр яндекс пометил дублем(как раз с GD делал).
Алгоритм яндекса примерно такой
Так что такие вариант остаются:
- повернуть на 2гр
- обрезать незначительно одну часть картинки
- Можно наложить рамку на изображение (опять же через gd)
- немного меняем наличие одного из цветов в картинке
- можно поменять формат с gif на jpeg или png, уменьшить сжатие
- watermark разумеется
- про коменты в картинке молчу, т.к. по идее после автоматической обработки они затрутся на ГД'шные
Ну и как отдельный вариант, можно тупо картинку порезать на несколько частей и с помощью html показать в виде одной. Короче, вариантов масса.
не понял что в последних постах ))
по теме правильно подсказывали:
php_admin_value sendmail_path "/usr/sbin/sendmail -t -i -f xxx@xxxxxx.ru"
Только есть одно, xxx@xxxxxx.ru обязательно должен быть рабочим мылом и желательно не на mail.ru
Если напрямую через html, то около 50-100 запросов. Дальше каптча. После ввода число обращений до появления "Я робот" сужается, после следующего ввода еще сильнее сужается и т.д.
