Robots.txt на страже порядка

J2
На сайте с 06.04.2005
Offline
15
535

Здравствуйте

Ситуация: есть целый ряд статических страниц (через modrewrite) вида: inf_*.htm, где * число, как прописать Disallow чтобы такие страницы не индексировались?

Заранее всем спасибо

с уваженством ... пишу: Рецепт кролика Тоби (http://kurilka.co.ua/archives/savetoby/)
SZ
На сайте с 17.08.2005
Offline
63
#1

robots.txt указать диапазон(маска) файлов....

K. Ermakov:
Маски только гугл поддерживает. Это его расширения стандарта. У других поисковиков маски не поддерживаются. Ссылка на стандарт дана выше.

Если начало url к этим страничкам одинаково, то можно запретить индексацию всего, у чего такое начало url (в т.ч. и нужные страницы).

Если нет - то только перечислением...

K. Ermakov
На сайте с 10.12.2004
Offline
328
#2

Кстати, meta="robots" (http://www.robotstxt.org/wc/exclusion.html#meta) тоже никто не отменял :)

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
J2
На сайте с 06.04.2005
Offline
15
#3

2SergoZD: спасибо попробую

2K. Ermakov: да правда, но ситуация такова, что запрет хочу поставить для Яндекс. Попал в бан, вот теперь мучаюсь и ищу чем провинился перед поднебесной 🙄

K. Ermakov
На сайте с 10.12.2004
Offline
328
#4
jl2005:
запрет хочу поставить для Яндекс

Тогда метод с маской файлов Вам не подойдёт. Он работает только в google.

J2
На сайте с 06.04.2005
Offline
15
#5
K. Ermakov:
Тогда метод с маской файлов Вам не подойдёт. Он работает только в google.

Насколько я понял если дать часть имени файла оно сработает к примеру: Disallow: inf_ 🙄

K. Ermakov
На сайте с 10.12.2004
Offline
328
#6
jl2005:
Насколько я понял если дать часть имени файла оно сработает к примеру: Disallow: inf_

Если это будет начало имени файла, то да, сработает

FlyAway
На сайте с 01.06.2005
Offline
439
#7

jl2005, сработает так и маски не надо

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий