Если во фрейме файл внутренний то можно закрыть метатегами.
если внешний то можно <iframe rel="nofollow" ...
работает
http://help.yandex.ru/webmaster/yandex-indexing/cyrillic-urls.xml
Лучше rel="canonical" поставить.
Disallow: /catalog/$
Так запретите только саму страницу /catalog/
Все файлы будут разрешены к индексации
Это означает, что робот прочитал и будет учитывать 18 строк с 1-ой по 18-ю.
тогда почему бы не закрыть все кроме них?
disallow: /vorota/
allow: /vorota/rulonnye-vorota/$
allow: /vorota/raspashnye-vorota/$
allow: /vorota/otkatnye-vorota/$
allow: /vorota/podemno-sektsionnye-vorota/$
вы бы проверили сами. честно говоря ерунду написали.
У меня все открывается.
Попробуйте с помощью js и сами скрипты закрыть в роботсе.
По аналогии со ссылками.
У всех сайтов по разному. В основном Яндекс больше 50%, Гугл больше 40%.
Xoma_204, введите любой запрос и сами все увидите.
Или введите как можно больше запросов, заметьте закономерности и сравните...
