правило для robots.txt - вопрос

Я всего лишь обратил внимание участников форума на всплеск вашей фантазии за пределы всем известного стандарта 1994 года и всех его расширений от Яндекса и др. (звездочки и т.п.). Пока вы не используете эти расширения, вы остаетесь строго в рамках старого стандарта, его никто не отменял.

Фантазии совершенно неуместны в таком ответственном месте, как robots.txt.

Ясное дело, что роботы не обязаны ничего соблюдать. Но не в их интересах устраивать беспредел и произвол как в ваших фантазиях. Они соблюдают.

Проверялка не моя, а Яндекса, она таких фантазеров ставит на место в один момент.

И еще.

Ваши попытки пожонглировать совершенно не относящимся к теме топика терминами и приводить RFC1738, который никаким образом не относится к теме о robots.txt, и только уводят от предмета обсуждения, действительно могут быть расценены модераторами как флуд. Считайте, что я вас предупредил.

Непонятно, почему вы лезете в бутылку на пустом месте, где все совершенно очевидно даже для новичков.

Цените как хотите, мне-то что. :)