Форум Практика оптимизации Любые вопросы от новичков по оптимизации

вопрос про robots.txt

[Удален]
927

у меня на сайте есть ссылки вида

h t t p: // w w w.y o u r s i t e . r u /cgi-bin/catalog/viewgroup_atm.cgi?biggroup=1&pr=4

Проблема в том, что месяца два-три назад я запрещал такие ссылки к индексированию!

Потом разрешил снова индексировать данные ссылки - запись в роботсе убрал.

Прошло уже два месяца где-то - а ссылки такого вида в Я.вебмастере до сих пор висят в списке исключенных страниц роботсом.тхт

Может у меня роботс неправильный??

это я закрыл типо от индексации сортировку товаров по цене

Clean-param: up /cgi-bin/catalog/*

Clean-param: down /cgi-bin/catalog/*


мой роботс такой


User-Agent: *
Clean-param: up /cgi-bin/catalog/*
Clean-param: down /cgi-bin/catalog/*
Disallow:/cgi-bin/users/remem.cgi
Disallow:/cgi-bin/order/vieworders.cgi
Disallow:/cgi-bin/order/editorder.cgi
Disallow:/cgi-bin/order/send.cgi
Disallow: *&find=
Disallow:/cgi-bin/users/room.cgi
Disallow:/index2.shtml
Disallow:/cgi-bin/users/regist.cgi
Disallow:/cgi-bin/news/view.cgi?news=24
Disallow:/cgi-bin/news/view.cgi?news=17
Disallow:/condition.htm

User-Agent: Yandex
Clean-param: up /cgi-bin/catalog/*
Clean-param: down /cgi-bin/catalog/*
Disallow:/cgi-bin/users/remem.cgi
Disallow:/cgi-bin/order/vieworders.cgi
Disallow:/cgi-bin/order/editorder.cgi
Disallow:/cgi-bin/order/send.cgi
Disallow: *&find=
Disallow:/cgi-bin/users/room.cgi
Disallow:/index2.shtml
Disallow:/cgi-bin/users/regist.cgi
Disallow:/cgi-bin/news/view.cgi?news=24
Disallow:/cgi-bin/news/view.cgi?news=17
Disallow:/condition.htm
Host: www.yoursite.ru
Sitemap: http://www.yoursite.ru/sitemap.xml
I
На сайте с 13.11.2008
Offline
57
igoruha
#1

У вас ведь эти странички снова в индекс попали, например: /cgi-bin/catalog/viewgroup_atm.cgi?section=3 в индексе.

Тогда получается все у вас ок. а почему до сих пор в вебмастере написано неправильно - можно поинтересоваться у службы поддержки через тот же вебмастер.

Насчет роботс - нужно два clean param в один объединить.

Яндекс.Вебмастер поможет найти дубли В выдаче Яндекса снова В Яндексе рассказали, как
[Удален]
#2
igoruha:
Насчет роботс - нужно два clean param в один объединить.

это как?????

I
На сайте с 13.11.2008
Offline
57
igoruha
#3
atmcom_ru:
это как?????

вот так:

Clean-param: up&down /cgi-bin/catalog/*

G
На сайте с 12.02.2012
Offline
40
gorev
#4

Добрый день.

Разрешите дать вам два совета.

1. "Правильный" robots.txt выглядит вот так: 

User-agent: *

Disallow: /engine/

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Всё остальное закрывается метатегами <meta name="robots" content="noindex">

2. Включите ЧПУ. Потом проще будет. Я уже с этим столкнулся :(

Google не рекомендует закрывать Google не рекомендует добавлять Google о частичной и

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий