Что не так с моим robots.txt ?

Главное что бы яндекс был согласен🚬. Проверьте - http://webmaster.yandex.ru/robots.xml

Вот что сказал ЯндексВебмастер:

1-13 User-agent: Yandex

Disallow: /cgi-bin

...

Crawl-delay: 3

28-28 Sitemap: http://www.домен/sitemap.xml

все хорошо?

Он вам сказал что с 1-ой по 13-ю строчку + 28 строчка - команды которые относятся к нему.

Собственно и изначально он вам это писал.

Домен свой в поле - "Список URL" вставьте и нажмите "проверить".

Результаты проверки URL с www: разрешен

Результаты проверки URL без www: этот URL не принадлежит вашему домену

Почему так? Хотелось, чтобы показывало мой сайт без www, зачем оно...

Если "разрешён" в зелёном цвете то нормально 😂

Результаты проверки URL с www: разрешен

Результаты проверки URL без www: этот URL не принадлежит вашему домену

Почему так? Хотелось, чтобы показывало мой сайт без www, зачем оно...

В поле - "Имя хоста" если пишите с www то и проверяйте с www, если без то и проверяйте без.

Почитайте уже о robots.txt на яндексе в помощи.

Ненадо отдельно для яндекса указывать. Яндекс со звездочкой прекрасно все понимает. просто напишите:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

и т. д. все папки, индексацию которых следует запретить

Host: домен - указываете для яндекса основной домен, с www или без, как укажете - так будет отображаться в выдаче

Crawl-delay: 3 - указываете поисковику минимальный интервал сканирования страниц в секундах, если ненадо - уберите. у меня например не стоит ни где, не юзаю

Sitemap: ссылка на sitemap.xml

И все. отдельно для яндекса ничего делать ненадо. Он прекрасно понимает звездочку

Вот как другие роботы отнесутся к неизвестной директиве к примеру host? Не нужно советовать того, что сам не знаешь...

Я делаю для Яндекса отдельный блок и все ок.

Звёздочку то все понимают, только вот команду Host только 2 паука яндекс и рамблер, а остальные определяют как ошибку.

Я думаю яндекс не просто так рекомендует использовать User-agent: Yandex