Ваш robots.txt

А что там непонятного? 2 строки работают - все остальное закомментировано. Дается линк еще на два роботса: роботс2 и роботс3. Теперь давайте разбираться: какой из них работает? Скорее всего роботс.тхт. Второй тоже прозрачный, тока стоит кроул-дилэй на 17 микросекунд. Более ничего в нем нет. Роботс3 - самый прикольный - я на него несколько раз заходил ради интереса. В первый раз он мне выдал скрипт на перле - в сути его не успел разобраться -отвлекся, потом переключился, а его уже и нет (!), все последующие разы он мне выдавал страницу с кучей нежелательных (по их мнению) ботов (особенно прикольнуло название Szukacz - даже не знаю как его произнести:) ) (на самом деле скоммуниздили здесь: http://www.searchengineworld.com/robots/

, но правда, признались в этом). И что??? Мне они посоветовали, а сами не включили свои же рекоммендации себе же в файл? Как это понимать? Или и них этот файл автоматом переделывается при смене переменных окружения на серваке? Или у Bас на этот счет иные соображения? Я на форуме, конечно новенький, но мне все это напоминает Хартию оптимизатора, вывешенную тут же. Благие пожелания и нечего более. На самом деле есть у меня интересное наблюдение - хочу с Вами поделиться: на сайте cnn.com куда-то делся файл роботс - никак не могу найти и достаточно долго. Они на него забили или все эти роботсы уже не влияют на работу ботов и поисковиков и на сnn это просекли? ну а то что Вы мне показали - это прикольно, но могу предположить, что не от файла роботс это произошло.

uncle Buddah, прочитайте внимательно первые три строчки http://www.webmasterworld.com/robots.txt и попробуйте зайти с юзер-агентом, например,

Mozilla/5.0 (compatible; Googlebot/2.1; http://www.google.com/bot.html)

ЗЫ. Работать что-либо в качестве robots.txt кроме самого robots.txt не может. И разбираться нечего.

Сделал и то и другое - на что Вы акцентируете мое внимание?

uncle Buddah,

Это ваше высказывание к сути дела никакого отношения не имеет.

Друзья!

А как составить robots.txt если страницы сайта формируются через CMS динамически?

Например, главная страница имеет вид http://www.domainname.com, а хотелось бы запретить для индексации Гуглем страницу "Контакты", которая имеет адрес http://www.domainname.com/top_menu.php?id=8?

barick, чтобы не ломать голову используйте при генерации страницы <meta name='robots' content='index,follow'>

или <meta name='robots' content='noindex,nofollow'>

PS А для сайта лучше будет на псевдостатику переходить (mod_rewrite)

Спасибо большое!

А не подскажете, где максимально популярно про такие meta написано?

Достаточно внимательно прочитать то, что написано на Яндексе http://yandex.ru/info/webmaster2.html