- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Суть кратко:
А теперь подробности.
На обоих доменах настроена антибот защита, с максимально простыми правилами - если это прямой заход (без реферера) и в юзер агентах нет ничего связанного с "хорошими ботами" - показываем галочку.
И получается, что заходя на сайт А я вижу проверку, прохожу её, срабатывает серверный редирект и на новом сайте опять проверка. Это не касается пользователей из поиска, например.
Добавил редирект прямо в клауде:
И всё заработало еще лучше. Теперь редирект срабатывает сразу, а проверка только одна на новом домене.
Но проблема в том, что количество ботов увеличилось в разы. Было в среднем менее 10%, стало более 30% и растёт (сегодня первый день нового редиректа).
В метрике бот трафик отображается, как прямой заход, чего быть не должно, учитывая проверку клауда.
На старом домене с ботами была настоящая беда, но клауд их срезал почти в ноль. А этот новый редирект почему-то часть из них стал пропускать через проверку. Хотя если я сам захожу через старый домен - проверку вижу, она никуда не делась.
просто обновляешь страницу 1-2 раза и капча исчезает сама
Вопрос: почему и как исправить?
Проверь поддомены, может через них идут.
Ещё сам хостинг может быть в деле и ботов крутить..
Проверил, 100500 раз обновил страницу - не работает, капча на месте.
попробуй в урл добавить новую гет переменную. я парсингом занимаюсь, именно так и обхожу, если капча - не заморачиваюсь даже, беру следующий урл этого же сайта, и в 2/3 будет уже без капчи, а потом и первый урл можно забирать 😀
попробуй в урл добавить новую гет переменную. я парсингом занимаюсь, именно так и обхожу, если капча - не заморачиваюсь даже, беру следующий урл этого же сайта, и в 2/3 будет уже без капчи, а потом и первый урл можно забирать 😀
сколько пытался, не смог повторить такой финт, в том числе с подменой "авторизованных куков"
сколько пытался, не смог повторить такой финт, в том числе с подменой "авторизованных куков"
когда паршу множество страниц одного сайта, от частых запросов с одного ипа в основном, если одна страница выдала капчу - просто запрашиваю следующую, в большинстве она уже не выдаст капчу. работает на многих сайтах на CF. с куками никакого шаманства, что выдает то принимаю, хуманом эмулятором.
показываем галочку.
Прочитал внимательно что происходит. Вам самому надо разобраться в CF.
Галочка показывается не всем подряд, она показывается только не проверенным или сомнительным или подозрительным IP адресам.
Галочка это не капча, а вот капча настоящая CF показывается всегда. И да, умные боты умеют галочку ставить.
Вам нужно ставить именно капчу а не галочку. 😀
Можно пустить Клаудом только ботов ПС на домен, который редиректит
Старый домен с историей, там есть и внешние ссылки, которые уже никак не заменить.
3. Настроить прием показаний метрики только с нового домена.
Клаудом кидать капчу по рефке от домена, который редиректит.
Суть в том, что эти посещения ботовые вообще без рефки, типа прямой заход на сайт. Словно какой-то bypass для них вместе с редиректом срабатывает.
Посмотреть статистику метрики и логи cf. Боты могут вообще не заходить на сайт, но писать в метрику визиты.
Можно еще и серверные логи глянуть, но суть в том, что именно метрика их регает.
Пока отключил редирект в клауде, боты обратно пропали. А старый сайт вообще удалю, он получается еще висит фоном под редиректом.
Старый домен с историей, там есть и внешние ссылки, которые уже никак не заменить.
Тогда тот вариант не подойдет.
Метрика у каждого своя стоит. На старом, несмотря на редирект, бывает до 5 посещений показывает.
Это лучше писать платонам из метрики, должны пофиксить, при редиректе такого быть просто не должно.
Суть в том, что эти посещения ботовые вообще без рефки, типа прямой заход на сайт. Словно какой-то bypass для них вместе с редиректом срабатывает.
Их могут просто "рисовать" в метрику. Без обращения к сайту.
Можно еще и серверные логи глянуть, но суть в том, что именно метрика их регает.
Стоит посмотреть. Возможно, в серверных логах этих ботов не будет, их "видит" только метрика. У меня такое было.
https://searchengines.guru/ru/forum/1072958/page699#comment_17027365