Robots.txt - помогите с задачей.

V
На сайте с 15.01.2008
Offline
111
292

Итак вопрос к знатокам Robots.txt

Добросовестно прогуглил информацию про robots.txt, но так к 100% верному решению и не пришёл.

Есть ссылки вида:

site.ru/modules.php?=blablabla

site.ru/catalog-download-ID-публикации.html

site.ru/catalog-page-ID-публикации.html

Как запретить все страницы с сылками имеющими общий корешок?

Достаточно ли написать? :

Disallow: /modules.php

Disallow: /catalog-download

Disallow: /catalog-page

Когда то советовали в похожей ситуации вот так:

(вариант со звёздочками весьма сомнительный)

Disallow: /modules.php*

Disallow: /catalog-download-*

Disallow: /catalog-page-*

Какой вариант будет правильней?

п.с. написать просто Disallow: /catalog не вариант, так как нужно именно /catalog-page, ибо остальные ссылки типа /catalog-news запрещать не нужно.

Спасибо!

nik_kent
На сайте с 05.02.2008
Offline
178
#1

Оба варианта правильные, потому что * в конце всегда подразумевается.

А вообще вот для проверки.

С уважением, Николай.
V
На сайте с 15.01.2008
Offline
111
#2

Спасибо!

Последнее сомнение осталось, если будет прописано:

Disallow: /catalog-download

то случаем не закроются ли от индексации ссылки вида /catalog-news ?

Ясно что роботы не дураки, но всё же... корешок то, до дефиса, одинаковый... 🍿

Lemonadu4
На сайте с 20.10.2009
Offline
78
#3

Не закроются

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий