Robots.txt - как правильно!

Ну так вы же указали User-agent: *, что еще надо?

Яндекс и гугл найдут свои записи, все остальные пс отправятся напрямую к инструкций User-agent: *.

User-agent: *
Disallow: /go/
Disallow: /stat.html
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

ерунду говорите. если не верите мне, можете сами проверить в яндекс вебмастере, там есть проверка роботса, проверьте мой роботс и сами убедитесь что яндекс учитывает (будет написано после проверки какие строки роботса яша будет учитывать)

вот скрин на котором хорошо видно какие строки яндекс учтёт в роботсе, с 1 по пятую строку, тоесть всё. Так зачем же тогда прописывать в роботсе отдельно строки для яндекса?

внимательней читать надо. вам сказали что яндекс учитывает директиву хост, а вы это пытаетесь доказать, как будто это кто-то отрицает.

тс, правильным будет роботс, в котором отдельно прописанно для яндекса, с указанием хоста.

для всех остальных поисковиков можете прописать общий блок, но не указывая директиву хост, так как многие её проигнарируют и начнут лопатить всё подряд. при желании для гугла можете также прописать отдельно

Не неси бред. и причём здесь деректива хост, учитывает не учитывает. Я скрином пытаюсь доказать что ненужно специально для яндекса прописывать

User-agent: Yandex

Disallow: /go/

Disallow: /stat.html

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

достаточно один раз прописать для всех роботов.

User-agent: *

Disallow: /go/

Disallow: /stat.html

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

и на скрине видно что яндекс учитывает все эти строки.

asmakovec2

это ты бред несёшь (раз уж перешли на ты).

но я спорить не собираюсь, просто если хочешь, можешь почитать это

зачем мне читать чейто бред. Если я уверен что я прав.

Ты можешь понять что User-agent: * обозначает для всех роботов, в том числе и для яндекса

а это значит что вот такие строки яндекс будет учтывать

так зачем прописывать отдельно для яндекса вот так???

Неужели такие простые вещи так сложно понять?🤪

неужели вам так сложно понять что директива хост только яндексом учитывается, а остальными нет??? поэтому нужно как минимум два блока в роботсе - для яндекса и для всех остальных

а неужели так трудно понять что User-agent: * учитывают все роботы И яндекс в том числе.? На скрине я показывал что учитывает яндекс если ему дать User-agent: *.

Или ты хочешь сказать что вот так яндекс не учтёт хост?

Яндекс учтёт всё. А остальные роботы учтут всё КРОМЕ строчки Host: site.ru Остальные роботы эту строку просто проигнорируют.

Кто-нить еще из гуру может подтвердить правильность написания?