Вопрос по robots.txt

12
avtomastersu
На сайте с 25.12.2010
Offline
92
1635

Подскажите пожалуйста, как запретить в robots.txt индексацию страниц в которых есть цифры. Что бы это касалось страниц, которые имеют внутри цифры, примером: /250/, /255/, /267/ и т. д. Пример полного URL - site.ru/katalog-ob-yavleniy/uslugi/drugie-uslugi/250/mebelnye-tury.html

Добавить ориг. статью, сайт, объявление в katalogclub.com (https://katalogclub.com)
A
На сайте с 18.04.2013
Offline
96
#1
avtomastersu:
Подскажите пожалуйста, как запретить в robots.txt индексацию страниц в которых есть цифры.

никак, проще закрыть целиком директорию, в которой есть урлы с цифрами)

Disallow: /katalog-ob-yavleniy/uslugi/drugie-uslugi/*
secondary
На сайте с 20.12.2012
Offline
142
#2

Disallow:

/*1*

/*2*

/*3*

/*4*

...

Seo аудит сайтов. Консультации. Качественная внутренняя оптимизация. (/ru/forum/803695) Полная подготовка проектов с нуля! Оптимизация готовых сайтов.
A
На сайте с 18.04.2013
Offline
96
#3
secondary:
Disallow:
/*1*
/*2*
/*3*
/*4*

просто если у него в любом другом урле будет стоять цифра - тогда хана)

secondary
На сайте с 20.12.2012
Offline
142
#4

Да, аккуратнее. 10 раз подумайте над урлами существующими, avtomastersu.

Но других вариантов решения я не вижу...

avtomastersu
На сайте с 25.12.2010
Offline
92
#5
amelta:
никак, проще закрыть целиком директорию, в которой есть урлы с цифрами)
Disallow: /katalog-ob-yavleniy/uslugi/drugie-uslugi/*

Спасибо за совет. Но проблема состоит в том, что после обновления движка с j1,5 до J2.5 и отказа от применения компонента sh404sef из за его постоянных траблов, изменились адреса ссылок. Googe бот все давно переиндексировал, а наш отечественный держит их уже около года и не удаляет не взирая ни на какие ухищрения. Вот примером

Было

site.ru/katalog-ob-yavleniy/uslugi/drugie-uslugi/250/mebelnye-tury.html

Стало

site.ru/katalog-ob-yavleniy/43-drugie-uslugi/250-mebelnye-tury.html

И таких страниц у него более 1700. Пробовал удалять через сервис удаления URL, не могу правильно запретить индексацию страниц.

Может Вы как более опытные в этом, что нибудь подскажете.

777Gs7
На сайте с 12.08.2008
Offline
111
#6

Как закрыть от индексации страницу http://mail.domen.ru?

Это правильная директива - Disallow: mail.domen.ru?

Dombrov
На сайте с 04.03.2010
Offline
53
#7

Для J2.5 есть плагин NODUBLES, не факт, но вдруг он поможет. Плагин либо редеректит на нужную страницу либо отдает ошибку 404, это можно в админке выставить.

777Gs7
На сайте с 12.08.2008
Offline
111
#8

Да зачем мне плагин. Задача стоит в закрытии от индексации одной страницы.

Dombrov
На сайте с 04.03.2010
Offline
53
#9

Может вот так?

Disallow: /*2*/

allow: /*2*-*/

Первый запрещает все с цифрой два. А второй разрешает из них если стоит -. Если исходить из вашей структуры то /число/ старые страницы, а новые могут быть /число-/, а такие как раз разрешаем.

avtomastersu
На сайте с 25.12.2010
Offline
92
#10
Dombrov:
Может вот так?
Disallow: /*2*/
allow: /*2*-*/

Первый запрещает все с цифрой два. А второй разрешает из них если стоит -. Если исходить из вашей структуры то /число/ старые страницы, а новые могут быть /число-/, а такие как раз разрешаем.

Спасибо, очень интересное предложение. А не существует правила, одного всех цифр, что бы не вставлять 2, 5, 78 и т. д., много их там таких.

Или так нельзя?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий