Как правильно сделать robots.txt для jdownloads

victor222
На сайте с 29.10.2009
Offline
198
942

Нужно настроить robots.txt, так как очень много дублей!

сайт.com/component/content/frontpage.html

сайт.сом/component/user/reg

сайт.com/component/user/login

сайт.com/component/search/login

Если прописать

Disallow: /component/ то все эти не нужные ссылки закроются, а jdownloads? он же тоже компонент!

Вот как яндекс видит сайт! Структура!

gif 88797.gif
kimberlit
На сайте с 13.03.2007
Offline
370
#1

Те закрой, а эту открой. В чём проблема?

victor222
На сайте с 29.10.2009
Offline
198
#2
kimberlit:
Те закрой, а эту открой. В чём проблема?

Ну jdownloads же тоже компонент, я в принципе не должен же лишнего закрыть?

пожалуйста покажите как сделали бы вы!:)

kimberlit
На сайте с 13.03.2007
Offline
370
#3

Я не знаю что тебе нужно, так как ты объяснять не умеешь. Но тебе что-то нужно открыть, а что-то закрыть. В чём проблема? Используй Allow, Disallow.

victor222
На сайте с 29.10.2009
Offline
198
#4
kimberlit:
Я не знаю что тебе нужно, так как ты объяснять не умеешь. Но тебе что-то нужно открыть, а что-то закрыть. В чём проблема? Используй Allow, Disallow.

Сейчас все подробно! :) В общем у меня на сайте 50 ссылок должно быть, а в итоге около 200! В общем дубли. Я не могу их убрать и решил закрыть в роботе! Все материалы находятся на компоненте jdownloads. Хочу закрыть ссылки дубли и не знаю как сделать правильно!

Вот например эти в индексе же не нужны?

сайт.com/component/content/frontpage.html

сайт.сом/component/user/reg

сайт.com/component/user/login

сайт.com/component/search/login

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий