User-Agent: Yandex - не работает

12 3
Tryerty
На сайте с 04.12.2007
Offline
68
3157

Робот Яндекса воспринимает инструкции выставленные только в блоке по умолчанию User-agent: *

Свои же инструкции не выполняет почему-то.

Убедиться в этом можно либо здесь по указанным используемым секциям, либо по delurl'у.

Глюк?

Движение вверх нельзя воспринимать как движение вперед не только с точки зрения физики. Достаточно взглянуть, ЧТО плавает на поверхности...
Talisman13
На сайте с 20.01.2007
Offline
211
#1

Да, есть такое дело.

Видимо глюк. :)

EXALL
На сайте с 25.06.2009
Offline
65
#2

Нет, не глюк. Они что-то там чинят, явно. Еще поза-позавчера все было норм.

Плохой медицинский центр https://www.mc21.ru/ (https://www.mc21.ru/)
R
На сайте с 21.12.2006
Offline
149
#3

есть такое дело.

серьезный глюк...

Dallas184
На сайте с 30.04.2009
Offline
45
#4

Подтверждаю, роботс игнорится, на запрос удаления в вебмастере страницы, запрещенной к индексированию в роботсе - выдает такое:

Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex.
vetervoda
На сайте с 13.11.2008
Offline
97
#5

А смысл обращения конкретно к роботу Яндекса?

Валерий Козлов
VoV@
На сайте с 22.09.2007
Offline
196
#6

Даже в панели ВМ при проверке robots.txt показывает

Используемые секции
User-Agent: *

хотя до этой секции стоит User-Agent: Yandex

PS вот интересно, теперь же Яндекс и строку Host не видит.

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
ссылочный
На сайте с 21.12.2009
Offline
23
#7

теперь яка расклеиться

http://yaca.yandex.ru/robots.txt

🤣

Использую: хрюнделя (http://www.bootmasterru.com/) для катов, олсаб (/ru/forum/211180) для обмена. Семьянин, папа... :-) Моя дача (http://ydacha.ru/holmez.html)...
[Удален]
#8
vetervoda:
А смысл обращения конкретно к роботу Яндекса?

Например, в инструменте проверки robots.txt в Яндекс.Вебмастере, на который уже выше дали ссылку, написано что

проверка производится для робота с именем Yandex

Поэтому, если хотите анализировать правильно ли прописали все правила под Яндекс в вебмастере, нужно делать отдельный блок под этого user-agent-а.

А вообще, ведь, у разных поисковиков, могут быть и разные правила оформления роботса...

vetervoda
На сайте с 13.11.2008
Offline
97
#9
SeoMad:

А вообще, ведь, у разных поисковиков, могут быть и разные правила оформления роботса...

Вообще в Рунете актуальны только два - Яндекс и Гугл, Рамблер и Мейл ру рано или поздно перейдут на них, Бинг если только, но он современный и поисковики давно договорились о правилах :)

"проверка производится для робота с именем Yandex" - это означает что данные правила будут именно так работать для Яндекса, но не обязательно для других, про писать блок отдельно для Яндекса ничего не сказано - я считаю это абсолютно ненужным дублированием

IgorP
На сайте с 25.05.2006
Offline
104
#10

Скорее всего временно.... тоже заметил

А вы участвуете в переписи населения?
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий