Подскажите, Гугл всегда забивает на Disallow в роботс ?

Ты думаешь, что в данном вопросе информация об англоязычности сайта важнее информации о структуре адресов на сайте?

если честно, то я не знаю что важнее, поэтому и задал вопрос на форуме. Структура адресов следующая:

если я правильно понял Ваш вопрос.

Если в соответствии с мануалом Гугла, то:

Почему некоторые директории с закрывающим слэшем, а некоторые нет?

Если Disallow: /category/*/*

- для блокирования подкатегорий, то правильно так: Disallow: /category*/

В чем сермяжная правда наличия этих строк:

Disallow: /*?*

Disallow: /*?

А также Disallow: */comments

- что имеется в виду заблокировать?

Это наследие какой-то секты.

Вот с этим надо будет разобраться, спасибо.

Если честно, не знаю, скопировал тупо с сайтов в Топе на вордпрессе.

не, это не секта, а копипаст роботс.тхт :) с сайтов в топе...

Так мануал-то почитайте, там семи пядей не нужно быть...

ну, теперь то почитаю :) Не знал что у гугла столько заморочек :) Я думал в 21 веке он уже и сам должен научиться думать и понимать разные варианты записей, но вижу что я ошибся .. :(

Жесть, никогда бы не подумал, что Гугл не поймет такой роботс :(

User-agent: *

Allow: /$

Disallow: /*

Подскажите, а как тогда корректно сказать Гуглу, что нужно индексировать только главную и не трогать весь остальной сайт ?

Буду крайне признателен за готовый роботс. Заранее спасибо!

имхо......

Если у меня не index.html, а index.php, то

User-agent: *

Allow: /*index.php$

Disallow: /

И поймут ли остальные поисковики, что надо проиндексировать именно главную а не страницу site.com/index.php ?