Правильно прописать запрет в robots.txt

12 3
Ф
На сайте с 05.03.2011
Offline
32
1067

Здравствуйте.

У меня на сайте стоит древовидная система комментариев DLE, которая создает дубли страниц по адресам site.ru/page,1,1,123-news_name.html (КОГДА ПРАВИЛЬНЫЙ АДРЕС site.ru/123-news_name.html) добавляя page,1,1, page,1,2, page,1,3, и тд

Как исправить проблему я нашел, теперь мне нужно узнать как правильно скрыть страницу site.ru/page,1,1,123-news_name.html от поисковых систем и как правильно прописать запрет для robots.txt чтобы поисковик не индексировал ссылки комментариев, то есть дубль?:)

Dexter88
На сайте с 06.10.2006
Offline
131
#1

Disallow: */page*

Drive-Tube.Ru - Все о твоем настоящем и будущем авто! (http://drive-tube.ru)
Ф
На сайте с 05.03.2011
Offline
32
#2
Dexter88:
Disallow: */page*

и он заблокирует все страницы типа site.ru/page/1 site.ru/category/page/1 ??

Dexter88
На сайте с 06.10.2006
Offline
131
#3
Фанатик:
и он заблокирует все страницы типа site.ru/page/1 site.ru/category/page/1 ??

Само собой заблокирует. Вы вопрос тогда корректно ставьте

И
На сайте с 17.08.2014
Offline
2
#4
Фанатик:
и он заблокирует все страницы типа site.ru/page/1 site.ru/category/page/1 ??

Вам скорей всего вот так надо прописать

Disallow: http://site.ru/page*

Ф
На сайте с 05.03.2011
Offline
32
#5

А кто может точно сказать, все же пользуемся, как правильно прописать?

kimberlit
На сайте с 13.03.2007
Offline
370
#6
Фанатик:
как правильно прописать?

Правильно в каком смысле? Где условия правильности то?

Илька:
Вам скорей всего вот так надо прописать

Disallow: http://site.ru/page*

Илька, в школу через пару недель.

И
На сайте с 17.08.2014
Offline
2
#7
kimberlit:
Правильно в каком смысле? Где условия правильности то?


Илька, в школу через пару недель.

Обоснуйте, где прописано не так?

kimberlit
На сайте с 13.03.2007
Offline
370
#8
Илька:
Обоснуйте, где прописано не так?

Ну, начни с изучения руководства Я и Г по robots.txt для начала.

Ф
На сайте с 05.03.2011
Offline
32
#9
kimberlit:
Правильно в каком смысле? Где условия правильности то?

Правильность в том чтобы скрыть только страницы такого типа site.ru/page,1,1,123-news_name.html site.ru/page,1,2,123-news_name.html site.ru/page,1,3,123-news_name.html. Как правильно прописать чтобы именно эти ссылки были скрыты из поиска. Понятно что если мы пропишем как писали выше /page* то это скроет и страницы типа site.ru/page/1 и страницы категорий site.ru/категория/page/3

а этого делать нельзя

kimberlit
На сайте с 13.03.2007
Offline
370
#10
Фанатик:
Правильность в том чтобы скрыть только страницы такого типа site.ru/page,1,1,123-news_name.html site.ru/page,1,2,123-news_name.html site.ru/page,1,3,123-news_name.html. Как правильно прописать чтобы именно эти ссылки были скрыты из поиска. Понятно что если мы пропишем как писали выше /page* то это скроет и страницы типа site.ru/page/1 и страницы категорий site.ru/категория/page/3

а этого делать нельзя

Ну, найди разницу в этих адресах. Она есть? Есть. Запятая после page. Добавь запятую в правило. Элементарно же всё.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий