Опять о robots.txt

Именно такая интрукция в роботсе и работает:)

Хм, странно, получается, что увидев такую шляпу в роботе, Яндекс не пойдет вообще на подобный адрес. НО! Сегодня разбирал логи и увидел что ему по барабану всё это. Да и в индексе страница с таким URL есть.

В чем же дело?

А что это там у вас пустая строка делает, причем в трех местах?

...

...

Disallow: /commercialsale/warehouse/

Disallow: /newbuildings/rial?

...

...

Разве пустая строка имеет значение?

Всякое бывает...

Еще можете попробывать User-agent: Yandex

admad, "robots.txt глазами Яндекса" - http://kako.yandex.ru/cgi-bin/test-robots

не маленький поди :) что с пустыми строками что без пустых строк пишет одно и тоже, но все равно ходит если встречается ?

admad, перечитайте стандарты, там ответы на большую часть ваших вопросов.

Этот стандарт фактически переведен в FAQ Яндекса. И естествеено я его читал... Но вот непонятки есть....

Там, в качестве примера указан такой "атрибут":

Disallow: /~joe/private.html

Это понятно что к нидексации запрещен private.html, а если написать так:

Disallow: /~joe/private

???? Что будет? Если у меня мод реврайт настроен так что пересылает privat на privat.html... Я конечно понимаю что это уже мои проблемы как у меня настроен mod-rewrite :) но всё же... хотелось бы узнать у гуру, есть ли методы, позволяющие в роботс.тхт закрывать страницы с УРЛ указанными выше

The format logically consists of a non-empty set or records, separated by blank lines.