- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приветствую.
Возникла такая проблема:
В определенной тематике завелся грязный дорвейщик, использующий пандору. Что он делает: бот проходится по сайтам из ТОПа определенных запросов и берет с каждого из них по одному предложению текста. Затем Собранные предложения с разных сайтов перемешивает и текстовыми блоками вставляет на страницы своих доров. Далее просто делает прогон доров по большой базе. В итоге сайты-доноры понижаются в позициях, как имеющие неуникальный контент. А его доры лезут в топ целыми пачками.
Защититься от этого воровства контента невозможно как ни крути - это понятно. Но думаю, можно затупить данного бота немного.
Обнаружил присутствие такого бота на своем сайте. Бот быстро открывал все страницы сайта поочередно, задерживаясь на них по минуте примерно.
Вопрос в следующем:
Как сделать так, чтобы с одного IP можно было ПАРАЛЛЕЛЬНО открывать страницы сайта с интервалом НЕ МЕНЕЕ к примеру 10 секунд? А если попытаться открыть быстрее, то будет выдаваться страница с определенным сообщением (без всяких редиректов через сколько то секунд, а просто с текстовым сообщением типа "Вы передвигаетесь по сайту слишком быстро. Попробуйте открывать страницу через 10 секунд"). И чтобы это условие работало для всех, кроме поисковых ботов.
В этом случае РЕАЛЬНЫЙ посетитель прочитает сообщение и не уйдет с сайта, а откроет страницу через 10 сек. А этот дорный бот просто зайдет в тупик (в страницу с сообщением) при каждой попытке открыть новую страницу. И в итоге сможет собрать контент только с главной страницы сайта.
Думаю это единственный способ защититься от такого бота.
Вот как бы это реализовать? Кто-нибудь поможет?
Думаю это единственный способ защититься от такого бота.
Думаю, Антибот Вам в помощь.
Думаю, Антибот Вам в помощь.
Можно подробней?
Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.
Думаю, Антибот Вам в помощь.
Нет, антибот тут явно не поможет.
---------- Добавлено 12.03.2020 в 16:52 ----------
Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.
Вот собственно я и думал, что кто-то подскажет, как реализовать это.
А Вы говорите такое есть в клоде? Прям именно то, что я описал? Если да, то думаю, купить платный клод-тариф - не проблема. А оно не будет проделывать то же самое с поисковыми ботами? Иначе это негативно скажется на индексе в итоге.
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
вот серч переглючило
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.
А вообще почитал про антибота. Может и подойдет. А может и клодовская функция подойдет. А если нет, то буду заказывать кодинг. Спасибо.