Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как правильно написать robot.txt

12
P
На сайте с 29.08.2007
Offline
23
Praetorian
673

Приветствую форумчане!

Не закидывайте меня тапками, пожалуйста, прошу Вашей помощи: к яше в индекс попали одни и те же страницы с ссылками 2-х вариантов: ЧПУ и с ID. Как мне правильно написать робот, чтобы в индексе остались только ссылки вида ЧПУ, а ссылки с ID он не индексировал?

Надеюсь на помощь мастеров SEO, заранее благодарен.

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Запретите индексацию ссылок с ID .

А файл лучше назвать robots.txt .

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2
Praetorian:
а ссылки с ID он не индексировал?

Давай структуру ссылок.

P
На сайте с 29.08.2007
Offline
23
Praetorian
#3

../index.php?categoryID=556&lang_iso2=en

../category/ajurvedicheskaja-kosmetika/

Вот 2 ссылки на одну страницу. Как запретить индексацию первой?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4

Disallow: /index.php?categoryID=

P
На сайте с 29.08.2007
Offline
23
Praetorian
#5

Спасибо!

еще обнаружил, что на эту же страницу еще одна ссылки :(

.../category/556/offset90/?sort=customers_rating&direction=ASC

Почему такое происходит и как убрать эти ссылки?

грац.
На сайте с 13.08.2010
Offline
176
грац.
#6

Praetorian, закрыть в роботс? :)

P
На сайте с 29.08.2007
Offline
23
Praetorian
#7
грац.:
Praetorian, закрыть в роботс? :)

А как тогда правильно закрыть эту страницу .../category/556/offset90/?sort=customers_rating&direction=ASC , а эту оставить - ../category/ajurvedicheskaja-kosmetika/ ? :)

CunninGFox
На сайте с 05.10.2007
Offline
167
CunninGFox
#8
Praetorian:
Спасибо!

еще обнаружил, что на эту же страницу еще одна ссылки

.../category/556/offset90/?sort=customers_rating&direction=ASC

Почему такое происходит и как убрать эти ссылки?

Disallow: *?sort=customers_rating&direction=ASC

запретит все страницы с сортировками...

Либо можно еще так:

Disallow: *offset90*

Запретит все урлы, в которых есть offset90

Комплексное продвижение сайтов: увеличение количества клиентов для Вашей компании. От 8.000 рублей. Возможна работа по договору и оплата по безналу. Пишите: seo@sergeus.ru
P
На сайте с 29.08.2007
Offline
23
Praetorian
#9
CunninGFox:
Disallow: *?sort=customers_rating&direction=ASC

запретит все страницы с сортировками...

Либо можно еще так:
Disallow: *offset90*

Запретит все урлы, в которых есть offset90

Премного благодарен! :)

Forza!
На сайте с 22.09.2008
Offline
107
Forza!
#10

Ничего страшного, все что закрыто от индексации, учтено ПС, все ссылки убрать невозможно. А если сильно надо, зайдите на страницу .../category/556/offset90/?sort=customers_rating&direction=ASC, и уберите ссылку

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий