- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пару дней назад заметил клона на фрихе в выдаче, сайт содран целиком. Грабер непрерывно сканирует всю директорию сайта и гуляет по ссылкам. Все изменения проводимые на сайте синхронно обновляются у клона - контент, редактирование шаблонов, выключение\включение сайта и т.д. Грабер делает по 20 запросов в секунду, ip меняются каждые 2 сек, по ip забанить нереально, прокси-лист бесконечный.
В логах:
xx.xx.x.xxx - - [дата] "GET /uploads/images/image_02233489.png HTTP/1.1" 200 127011 "http://домен.ru/страница.html" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.94 Safari/537.36 OPR/24.0.1558.53"
Все значения меняются, кроме: Mozilla/5.0 (Windows NT 6.1; WOW64)
Пробовал прописать в htaccess RewriteCond для юзер агента, чета не проканало, возможно что-то не так делаю. Подскажите, что можно сделать.
Если у кого-то хороший опыт в этих вопросах, и знает как разрулить проблему, обращайтесь в ЛС, договоримся.
IP, Ой да ладно бесконечный.
100-500 штук? :)
IP, Ой да ладно бесконечный.
100-500 штук? :)
образно, досчитал до 100. Можно ослепнуть, да еще и всех пс забанить случайно
образно, досчитал до 100. Можно ослепнуть, да еще и всех пс забанить случайно
Не нужно образно.
Создайте страницу чистую в корне с названием test.php, туда запишите строчку:
<? echo $_SERVER['SERVER_ADDR']; ?>
Сохраняйте и пробуйте вызвать эту страницу на сайте клоне. Она будет вам показывать через какие IP запрашивается ваш сайт. Далее уже вы знаете, что делать 🍿
банить не нужно ибо бред, попросите хостера пофильтровать ботов в режиме реального времени
банить не нужно ибо бред, попросите хостера пофильтровать ботов в режиме реального времени
ему на это абсолютно по..... так же как и платонам
---------- Добавлено 12.09.2014 в 21:27 ----------
Не нужно образно.
Создайте страницу чистую в корне с названием test.php, туда запишите строчку:
<? echo $_SERVER['SERVER_ADDR']; ?>
Сохраняйте и пробуйте вызвать эту страницу на сайте клоне. Она будет вам показывать через какие IP запрашивается ваш сайт. Далее уже вы знаете, что делать 🍿
забанил сначала SetEnvIfNoCase User-Agent "^Mozilla 5.0" в хтаццесс, клон 403, после чего сделал по вашей рекомендации и вычислил ip грабера, забанил на двигле, благодарю за помощь, но ip поменялся и клон раздуплился. Вобщем забанил тупо Мозилу 4.0 и 5.0, у клона 403 Forbidden
ему на это абсолютно по..... так же как и платонам
---------- Добавлено 12.09.2014 в 21:27 ----------
забанил сначала SetEnvIfNoCase User-Agent "^Mozilla 5.0" в хтаццесс, клон 403, после чего сделал по вашей рекомендации и вычислил ip грабера, забанил на двигле, благодарю за помощь, но ip поменялся и клон раздуплился. Вобщем забанил тупо Мозилу 4.0 и 5.0, у клона 403 Forbidden
Странноватое решение, если это вы на постоянной основе хотите воплотить. Это неподходящая сигнатура для бота, ибо многие реальные клиенты имеют такой же Useragent с ^Mozilla. Ищите другие совпадения в каждом из запросов.
Это вы сейчас 50% юзерей забанили обычных....
Просто IP фильтруйте и всё. У него не бесконечные они.
Могу вам настроить автоматический бан ботов.
Есть отлаженное решение для этого.
Напишите мне в аську 1699три8679
Это вы сейчас 50% юзерей забанили обычных....
Просто IP фильтруйте и всё. У него не бесконечные они.
Да я это понял сразу, нет никаких совпадений, бот эмулирует как обычный браузер, для него невозможно правило написать, нет никаких отличительных признаков. По сути создано зеркало моего сайта на фридомене, и вся редактируемая инфа стразу отражается на нем. Бан по ip вашим методом тоже не прокатил, так мы узнали ip домена, на котором стоит клон, но не ip парсера. И да, то что я писал выше про 20 запросов в секунду, это не парсер. Это запросы к картинкам при открытии страницы пользователями.
ему на это абсолютно по..... так же как и платонам
ну тогда продолжайте в пустую тратить врем и банить ип :)