Как писал Interitus Правильным решением будет преобразовать урлы с помощью mod_rewrite
Только если страниц будет очень много, которые необходимо запретить к индексации, то получится слишком длинная "колбаса" из Disallow
Тогда лучше привести все это хозяйство к тому, чтобы запрещаемые страницы лежали в одной или нескольких папках, тогда код robots.txt существенно сократиться и получиться что-нибудь вроде:
Есть утилитки которые позволяют это делать, название прог не помню. Да и на некоторых сайтах такая возможность реализована, ссылку не дам, дабы на рекламу не смахивало :)
В логах можно посмотреть, что отдается по запросу на определенный документ.
Там h1 не только в самом верху, ничего сверхъестественного не сделано, идет обычное перечисление ключевых слов в заголовке, смысловой нагрузки нет никакой.
Если Вам нужно, чтобы все страницы сайта хорошо индексировались, то карта соответственно должна быть подробной, только это зачастую приводит к тому, что жмешь на "карта сайта" у тебя открывается огромная "колбаса", которую замучаешься скролингом листать
Правильным решением будет преобразовать урлы с помощью mod_rewrite
Только если страниц будет очень много, которые необходимо запретить к индексации, то получится слишком длинная "колбаса" из Disallow
Тогда лучше привести все это хозяйство к тому, чтобы запрещаемые страницы лежали в одной или нескольких папках, тогда код robots.txt существенно сократиться и получиться что-нибудь вроде:
Disallow: /folder1/
Disallow: /folder2/
нужно сделать HTTP запрос на сервер.
Есть утилитки которые позволяют это делать, название прог не помню. Да и на некоторых сайтах такая возможность реализована, ссылку не дам, дабы на рекламу не смахивало :)
В логах можно посмотреть, что отдается по запросу на определенный документ.
Только что пробовал. У меня правда IIS стоит...
Или это не принципиально?
Про IIS сказать ничего не могу, не сталкивался.
Вообще запрет можно осуществить и без header, существует достаточно способов запретить документ к индексации
так кто-нить скажет что получает робот с моего сайта
Запроси заголовки
maximusr
Ерунда. При таком Header выдается просто страница не найдена. А нужно чтобы выдавалась, но не индексировалась
А кто сказал, что она не будет выдаваться ??
Snake выше написал про header
А может, тогда, получается, можно и ЕЩЕ меньше реальный размер шрифта в заголовке сделать?
Сделать то можно, только добром это дело не кончится
<META NAME="Robots" CONTENT="noindex">
Там h1 не только в самом верху, ничего сверхъестественного не сделано, идет обычное перечисление ключевых слов в заголовке, смысловой нагрузки нет никакой.
Если Вам нужно, чтобы все страницы сайта хорошо индексировались, то карта соответственно должна быть подробной, только это зачастую приводит к тому, что жмешь на "карта сайта" у тебя открывается огромная "колбаса", которую замучаешься скролингом листать