Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

chaser
На сайте с 03.08.2005
Offline
217
chaser
366

У сайта есть разделы, типа:

/gruzoperevozki_po_oblasti/moskva_mojaisk/

/gruzoperevozki_po_oblasti/moskva_kashira/

Необходимо к примеру оставить для индексации директорию

/gruzoperevozki_po_oblasti/

но закрыть все поддиректории типа

/gruzoperevozki_po_oblasti/moskva_mojaisk/

Вопрос, пойдет ли такая конструкция:

/gruzoperevozki_po_oblasti/*/

И если нет то какие есть правильные варианты?

SiteAnalyzer ( https://site-analyzer.ru/ ) - аналог Screaming Frog | Majento ( https://majento.ru/index.php?page=seo-analize ) - 70+ бесплатных сервисов SEO-аналитики
Lipcrus
На сайте с 05.05.2009
Offline
83
Lipcrus
#1

Если мало подкатегорий, лучше закрыть все полностью, на подобие "/gruzoperevozki_po_oblasti/moskva_mojaisk/"

chaser
На сайте с 03.08.2005
Offline
217
chaser
#2

А если их много, скажем более 10?

[Удален]
#3

chaser, если речь идёт о Яндекс или Google, то попробуйте конструкцию:

User-agent: *
Allow:/dir1/$
Disallow:/dir1/

Так адреса в виде:

    www.site.ru/dir1/ - будет разрешен к индексации
    www.site.ru/dir1/dir2/ - будет запрешен к индексации

Но работает это только в Яндексе и Google.

nik_kent
На сайте с 05.02.2008
Offline
193
nik_kent
#4

ТС, так Вы сами проверьте - http://webmaster.yandex.ru/robots.xml

png 106725.png
С уважением, Николай.
chaser
На сайте с 03.08.2005
Offline
217
chaser
#5
nik_kent:
ТС, так Вы сами проверьте - http://webmaster.yandex.ru/robots.xml

О, респект, пожалуй даже плюсану ;)

[Удален]
#6

Disallow:/gruzoperevozki_po_oblasti/*/ не спасёт Вас от индексации урлов вида:

По сути, этим вы просто запрещаете все адреса, которые будут содержать "/" и будут находиться в директории /gruzoperevozki_po_oblasti/

chaser
На сайте с 03.08.2005
Offline
217
chaser
#7
lobin2006:
Disallow:/gruzoperevozki_po_oblasti/*/ не спасёт Вас от индексации урлов вида:


По сути, этим вы просто запрещаете все адреса, которые будут содержать "/" и будут находиться в директории /gruzoperevozki_po_oblasti/

Ну там все станицы как раз в виде директорий, поэтому именно тут это прокатит.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий