Как заблокировать маскирующих ботов под Яндекс

1 234
alaev
На сайте с 18.11.2010
Offline
723
#31
fliger #:

Ничего не пофиксили. Только что зашел и проверил:

Хмм. Да. Видимо только мой сайт добавили, потому что я написал Платону.


Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
damn-doubleclick
На сайте с 10.09.2021
Offline
43
#32
alaev #:

Хмм. Да. Видимо только мой сайт добавили, потому что я написал Платону.


Привет, куда написать? 

Лучший хостер с адекватными сис. админами: https://clck.ru/35zGfN
Роман Кузьминский
На сайте с 08.07.2022
Offline
128
#33
fliger #:

Ничего не пофиксили. Только что зашел и проверил:

Vladimir #:
Да, Роман Кузьминский, должен еще отписаться, ссылку ему на эту тему давал. ситуацию отписал.
Обещал вернуться))

Здравствуйте. Жалобу команде Переводчика я передал. Они обязательно всё проверят и примут необходимые меры. Если ситуация ещё воспроизводится, пришлите, пожалуйста, мне в личные сообщения ссылку на сайт, с которым возникают трудности. Посмотрю, в чём могут быть причины.

fliger
На сайте с 17.09.2015
Offline
107
#34
Заметил, что сервер отдает на запрос Яндекса, который идет на сайт с переводчика, код 206. У робота есть заголовок

HTTP_RANGE: bytes=0-10485760

Поэтому не лишним, я думаю, будет добавить в скрипт проверку на !empty($_SERVER['HTTP_RANGE']:

if (stripos($_SERVER['HTTP_USER_AGENT'], 'Yandex') !== false && $_SERVER['HTTP_ACCEPT_LANGUAGE'] != '' && !empty($_SERVER['HTTP_RANGE'])) {
header($_SERVER['SERVER_PROTOCOL'].' 401 Unauthorized', true, 401);
exit('Unauthorized');
}

Дополнительно можно запретить переход на сайт по редиректу с https://translate.yandex.ru

SetEnvIf Referer ^https://translate\.yandex\.ru/.*$ deny_referer
Order Deny,Allow
Deny from env=deny_referer

alaev
На сайте с 18.11.2010
Offline
723
#35
damn-doubleclick #:

Привет, куда написать? 

Я из панели вебмастера писал в обратную связь. Там есть какой-то пункт про роботов Яндекса.

alaev
На сайте с 18.11.2010
Offline
723
#36
Роман Кузьминский #:

Здравствуйте. Жалобу команде Переводчика я передал. Они обязательно всё проверят и примут необходимые меры. Если ситуация ещё воспроизводится, пришлите, пожалуйста, мне в личные сообщения ссылку на сайт, с которым возникают трудности. Посмотрю, в чём могут быть причины.

Поздно. Они уже извещены.

Лучше сделайте дериктиву для robots.txt, чтобы было можно запрещать доступ для бота с переводчика.

Нам этого будет более чем достаточно.

fliger
На сайте с 17.09.2015
Offline
107
#37
alaev #:
сделайте дериктиву для robots.txt, чтобы было можно запрещать доступ для бота с переводчика.
Им нужно изменить User-Agent для этого робота на уникальный, тогда никакая директива не нужна будет.
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий