Как заблокировать маскирующих ботов под Яндекс

123 4
damn-doubleclick
На сайте с 10.09.2021
Offline
45
1639

Добрый день, столкнулся проблемой: недруги сканируют сайт используя прокси Яндекс Переводчика, а именно "переводчика сайтов". Сперва подумал что это какой-то сервис который кэширует страницы ресурсов, но нет, по логам вижу обращения в момент хита.

Думал блокнуть прокси бота, но оказалось что для этого дела используется "основной индексирующий бот", поэтому я подумал задействовать Cloudflare Firewall для проверки трафика, получилось вот такая правила:

Но это не работает :(

Логи:


Как победить эту проблему без ущерба? 

Searchengines.guru — Новости IT и форум про интернет-маркетинг, SEO-оптимизацию, сайтостроение
Searchengines.guru — Новости IT и форум про интернет-маркетинг, SEO-оптимизацию, сайтостроение
  • translated.turbopages.org
Крупнейший русскоязычный форум и новостной сайт, посвященный поисковой оптимизации, продвижению сайтов, интернет-маркетингу, работе с контекстной рекламой, монетизации трафика, сайтостроению.
Лучший хостер с адекватными сис. админами: https://clck.ru/35zGfN
alaev
На сайте с 18.11.2010
Offline
749
#1
Аналогичная проблема, в переписке с Платоном. Тоже не ясно как блокнуть, чтобы не забанить Яндекс 
Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
fliger
На сайте с 17.09.2015
Offline
107
#2

В обоих случаях на сайт зашел робот Яндекса:

141-8-142-38.spider.yandex.com
5-255-253-37.spider.yandex.com
Под кого он маскируется?
Vladimir
На сайте с 07.06.2004
Offline
553
#3
alaev #:
Аналогичная проблема, в переписке с Платоном. Тоже не ясно как блокнуть, чтобы не забанить Яндекс

Запретить iframe и нет проблем

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
fliger
На сайте с 17.09.2015
Offline
107
#4
Vladimir #:
Запретить iframe и нет проблем
Так сайт на https://translated.turbopages.org/ не через iframe выводится, а напрямую в теле страниц. Сейчас шаманил - никак не определишь, что Яндексбот с translated.turbopages.org на сайт заходит.
Vladimir
На сайте с 07.06.2004
Offline
553
#5
fliger #:
Так сайт на https://translated.turbopages.org/ не через iframe выводится, а напрямую в теле страниц. Сейчас шаманил - никак не определишь, что Яндексбот с translated.turbopages.org на сайт заходит.

Изучаем тему - клоакинг через переводчики


https://z5h64q92x9.net/proxy_u/en-ru.ru/https/aeroyogaclub.ru/

скрипт закрытия фрейма на сайте прописан, но он не срабатывает в новых браузерах, да и яндекс скорее всего эти скритты блокируют
Т.е пробуйте закрывать на сервере, через htaccess

fliger
На сайте с 17.09.2015
Offline
107
#6
Vladimir #:
Изучаем тему - клоакинг через переводчики
Устаревшая информация. В переводчике Яндекса нет никакого iframe от слова совсем. В Гугле не смотрел.
Vladimir
На сайте с 07.06.2004
Offline
553
#7
fliger #:
Del

Ну да, вы правы/ и Гугл тоже фрейм убрал
Проверил запрет на сервере, не срабатывает

alaev
На сайте с 18.11.2010
Offline
749
#8
Vladimir #:

Ну да, вы правы/ и Гугл тоже фрейм убрал
Проверил запрет на сервере, не срабатывает

Бот Яндекса со своего ip грузит страницу :-(

Получается что-то вроде прокси.

Vladimir
На сайте с 07.06.2004
Offline
553
#9
alaev #:

Бот Яндекса со своего ip грузит страницу :-(

Получается что-то вроде прокси.


Если из ссылки translated.turbopages.org.... убрать translated, откроется турбо страница

Похоже с турбо страниц, т.е никак не запретишь. Ну или пробовать отключить турбо принудительно
K
На сайте с 14.05.2022
Offline
20
#10
damn-doubleclick :
Как победить эту проблему без ущерба? 
А в чем именно состоит проблема? В том что сайт посетил робот? Так это ведь интернет... На сайты сотни роботов за день заходить могут.
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий