Спасибо большое!!!
Мне и не нужно их менять. Меня волнует, не будет ли это проблемой для системы мониторить размещенные ссылки?
Если кому-то интересно, то я решил проблему. Описание проблемы тут
Так обе записи являются правильными. У меня вопрос, почему ни с одной из них яндекс не хочет индексировать?
Я об этом уже думал. Буду пробовать, но как же общепринятые правила? Или Яндекс поменял правила и синтаксис для своего Робота?
Так у меня в самом начале вообще не было Роботс,тХт, но вот в вебмастере выдало трабл, я решил насильно вписать правила для робота, но ничего не изменилось. Роботс.тхт составлен правильно, но я ндекс отказывается его индексировать. Вот и пытаюсь разобраться в чем трабл.
http://robotstxt.org.ru/robotsexclusion/guide
Тут точно так же!
Разрешить всем роботам индексировать весь сайт
User-agent: *
Disallow:
Так правильно! У меня же там не стоит правый слешь!
User-agent: Yandex
Host: pushseo.com.ua
Если бы после Disallow: стоял правый слешь, тогда бы это закрывало индексацию! А так все правильно.
Вообще-то сайт создавался для людей, которые могли бы заказан у нас свои услуги. И поэтому нужно его продвигать в яндексе!
С каких пор поисковики учитывают дизайн???
