Форум Поисковые системы Яндекс

Яндекс сегодня 15.01.2023 "вывалил" страницы запрещенные к индексации

12
D.iK.iJ
На сайте с 26.05.2013
Offline
225
D.iK.iJ
#11

У меня Яндекс тут письмо прислал, что на сайте robots.txt не доступен.

Понятно, что он доступен и ничего не менялось. Может это как-то связано?

Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
GRAFLEKX
На сайте с 05.11.2010
Offline
200
GRAFLEKX
#12
D.iK.iJ #:
У меня Яндекс тут письмо прислал, что на сайте robots.txt не доступен.

Кстати, да, аналогично, варнинг на мыле от ЯВМ.

Типа, при загрузке  robots.txt, сервер выдал код ответа 500, а ожидалось 200.

Вангую, что тоже увижу в базе страницы, которые были под запретом в роботсе )))

Бот то гулял свободно, а вот  robots.txt был недоступен 9 часов.

Мы поможем в поиске работы: стабильная работа для вас ( https://www.rabota.ru ), вакансии и резюме.
X
На сайте с 04.12.2018
Offline
279
Xubart
#13

GRAFLEKX #:

Вангую, что тоже увижу в базе страницы, которые были под запретом в роботсе )))

Видимо, запрет нужно дублировать и в мета тегах на страницах.

Удобный съем позиций (http://allpositions.ru/redirect/58277)
D.iK.iJ
На сайте с 26.05.2013
Offline
225
D.iK.iJ
#14
Xubart #:
Видимо, запрет нужно дублировать и в мета тегах на страницах.

Если возможно - обязательно. Гугл вообще решил, что может запреты в роботс не учитывать, если страница ему нравится. А вот мете-теги соблюдает строже.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий