Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как запретить индексацию части сайта?

12
S9
На сайте с 18.10.2006
Offline
49
sasha99
#11
GtSwan:
Я тоже никак не могу понять, что нужно все-таки запретить... В начале было написано: "Надо сделать так, что бы бот не интексировал страниц с фотками, т.е. все что лежит в папке galleryes а индексировал только главную и страницы разделов." Т.е. нетолько картинки, но и кучу страниц, не являющихся главной и страницами разделов? Так??? Если да, то что в эту "кучу входит"?!

Ладно, у меня более 5000 разделов типа:

http://сайт.ру/image/1/galleryes/*

http://сайт.ру/image/2/galleryes/*

http://сайт.ру/image/3/galleryes/*

http://сайт.ру/image/999/galleryes/*

http://сайт.ру/image/10000/galleryes/*

надо запретить индексацию только папок galleryes

S
На сайте с 23.06.2006
Offline
46
staffer
#12
Ладно, у меня более 5000 разделов типа:
http://сайт.ру/image/1/galleryes/*
http://сайт.ру/image/2/galleryes/*
http://сайт.ру/image/3/galleryes/*
http://сайт.ру/image/999/galleryes/*
http://сайт.ру/image/10000/galleryes/*
надо запретить индексацию только папок galleryes

Очень хороший и полезный сайт о файлах robots.txt - http://robotstxt.org.ru/

В robots.txt нужно сделать инструкцию:

Disallow: */galleryes/*

Но это нужно сделать только для Google и Yandex. Рамблер, MSN и другие не будут понимать эти инструкции, поэтому для них делаем мета-тег Robots http://robotstxt.org.ru/RobotsExclusion/meta

S9
На сайте с 18.10.2006
Offline
49
sasha99
#13

А так тоже правильно?

User-agent: *

Disallow: /video/ # блокирует доступ к страницам начинающимся с '/video'

Disallow: /image/*/galleryes/ # блокирует доступ к страницам /image/любая папка/galleryes/

или после galleryes на ставить /* ?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#14
sasha99:
Disallow: /video/ # блокирует доступ к страницам начинающимся с '/video'

Если к страницам, то без слеша в конце ...

Disallow: /video

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий