Непонятная статистика обхода сайта ботом в Яндекс Вебмастере

12
OT
На сайте с 17.09.2015
Offline
74
798

Где-то с начала марта в Яндекс Вебмастере показывается непонятная статистика обхода сайта поисковым роботом:

То обход показывает код 200, то 404, потом опять 200, потом вообще "Документ не содержит текст".

ТП Яндекса как всегда отвечает стандартными отписками, что у них все хорошо, это у вас все плохо на сервере похоже.

Несколько дней все проверял, сервер всегда был доступен, не было скачков в нагрузке ЦП и ОП, проверил логи доступа и логи ошибок, боты Яндекса спокойно заходили на сайт, отдавался код 200, проверил клауд, там тоже боты Яндекса никогда не блокировались.

У кого-то было похожее?


Александр
На сайте с 18.03.2020
Offline
198
#1
OneTwoo :
Где-то с начала марта в Яндекс Вебмастере показывается непонятная статистика обхода сайта поисковым роботом:

Они сегодня внесли кучу фишек.
Оживили раздел с ссылками.

Вполне вероятно, что что-то пошло не так.
У меня вообще проиндексировали пагинацию, хотя там стоит полный запрет ;)

png 2023-03-23_p3m.png
png 2023-03-23_n4d.png
OT
На сайте с 17.09.2015
Offline
74
#2
Александр #:

Они сегодня внесли кучу фишек.
Оживили раздел с ссылками.

Вполне вероятно, что что-то пошло не так.
У меня вообще проиндексировали пагинацию, хотя там стоит полный запрет ;)

Да у них все пошло не так:


A2
На сайте с 17.08.2011
Offline
87
#3

Коллеги, всем привет!

Может кто-то сталкивался с проблемой, яндекс начал выкидывать страницы из индекса с пометкой " Запрещено элементом noindex " (скрин прилагаю)

После анализа, было выявлено что такую страницу отдает Яндексу Клаудфлер.

Решили отключить все на сервере, imunify360, проксирование Клаудфлер и т.д Это сделали вчера, пока не видно новых уведомлений об обходе.

Однако, проверка в яндекс Вебмастере инструментом "Проверка ответа сервера" не дает яндексу все равно скачать страницу (скрин прилагаю)

Что интересно, у других проектов на этом же сервере такой проблемы не наблюдается.

jpg 1gh8ye.jpg
jpg d7v9pj1.jpg
)
Mik Foxi
На сайте с 02.03.2011
Offline
1142
#4
Alex 25 #:
Может кто-то сталкивался с проблемой, яндекс начал выкидывать страницы из индекса с пометкой " Запрещено элементом noindex " (скрин прилагаю)

а вы ipv6 не блокировали как некоторые советчики тут советуют? у яндекса не редко бывают корявые новые ipv6, с невалидным PTR, которые по разрешающему правилу для белых ботов могут не пройти. отключить в клаудфларе ipv6, может меньше таких глюков будет.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ Форум на замену серчу: https://foxi.biz/
A2
На сайте с 17.08.2011
Offline
87
#5

Сейчас в DNS нет записей AAAA (ipv6). Нет записи - не поддерживаем, значит яндекс не будет обращаться с ipv6 тк некуда.

+ если ipv6 не отвечает он на ipv4 попробует

Mik Foxi
На сайте с 02.03.2011
Offline
1142
#6
Alex 25 #:

Сейчас в DNS нет записей AAAA (ipv6). Нет записи - не поддерживаем, значит яндекс не будет обращаться с ipv6 тк некуда.

+ если ipv6 не отвечает он на ipv4 попробует

если у вас сайт на клаудфларе, то у сайта есть ipv6, ее там через апи отключать надо. 

когда яндекс обращается с нового нигде ранее не засвеченного ipv6 с несуществующим ptr - его клаудфлар выдаст страницу блокировки. а когда там яндекс следующий раз обратится с другого ипа это уже может быть совсем не скоро.

angel57
На сайте с 01.04.2014
Offline
154
#7
Александр #:

Они сегодня внесли кучу фишек.
Оживили раздел с ссылками.

Вполне вероятно, что что-то пошло не так.
У меня вообще проиндексировали пагинацию, хотя там стоит полный запрет ;)

Этот мониторинг запросов что у вас на первом скрине показывает какой то бред, с реальными позициями вообще не имеющий ничего общего (у меня так по крайней мере) 

Александр
На сайте с 18.03.2020
Offline
198
#8
angel57 #:
Этот мониторинг запросов что у вас на первом скрине показывает какой то бред, с реальными позициями вообще не имеющий ничего общего (у меня так по крайней мере) 

Там бета тестирование. Думаю, когда-нибудь поправят :D

A2
На сайте с 17.08.2011
Offline
87
#9

Проблему решил, может кому-то пригодиться.

ip яндекса успешно вносятся фаерволами в блэклисты https://forum.cloudlinux.com/forum/imunify360/general-discussion-ab/39045-global-whitelist-issues#post39204

Из за этого и проблема.

Forgot password or user name?
  • 2023.02.01
  • Taz Junior Member Join Date: Feb 2023 Posts: 4
  • forum.cloudlinux.com
Hi Team, We have an ongoing issue with the global whitelisting that imunify360 sets and enables. it leads to a big flaw in your product that needs to be addressed Over the course of the last year several times we have seen IP addresses that are involved in repeated incidents and never get blocked. Often as obvious as repeated SSH bruteforces We...
Холм с Кулями
На сайте с 05.04.2013
Offline
80
#10
А как решил проблему-то? Ну если они вносятся в листы, их же не вынуть отттуда?
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий