Запрет индексации страниц в robot.txt

wilelf
На сайте с 27.06.2005
Offline
322
666

Вопрос:

1. Сайт на движке. УРЛ динамические. Индексируется поисковиками полностью.

2. Запретил админские и "левые" каталоги для индексации, но некоторые модули движка, входящие в состав пакета, индексируются в отдельные страницы. Как быть?

З.Ы. Попутно: возможно ли запретить индексацию страниц с динамическими адресами (вида: .php?do=newthread&f=25)

Агентство контекстной рекламы НеВсем ( https://www.nevsem.ru/ ) Пишу платно статьи для Хабра. Мой профиль ( https://habr.com/ru/users/wilelf/ )
FlyAway
На сайте с 01.06.2005
Offline
439
#1

wilelf, прописать модреврайт для сайта, чтобы динамика преобразовывалась в статику "на лету".

попутно: возможно запретить

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
Skyter
На сайте с 17.02.2005
Offline
175
#2

Необходимо сделлать примерно так :

User-Agent: *

Disallow: /showthread.php?p=

Все, что начинается с этого не будет учитываться

Юрий Батиевский www.antop.ru (http://www.antop.ru/): тел: +7 903 796 05 86 Ищу SEO-специалиста, специалиста по контекстной рекламе, интернет-маркетолога.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий