Не получается закрыть некоторые урлы через Robots

Нужно видеть robots.txt полностью.

Или проверяйте сами в Яндекс.Вебмастер.

Сейчас такой:

# DEFAULT:BEGIN

User-agent: *

Disallow: /admin

Disallow: /content/_publication

Disallow: /content/_site

Disallow: /content/_tmp_transaction

Disallow: /content/_search_cache

Disallow: /content/poll

Disallow: /system

# DEFAULT:END

# USER_EDIT:BEGIN

Disallow: /200

Disallow: /210

Disallow: /500

Disallow: /110

Disallow: /home

# USER_EDIT:END

И где там 315 ?

Ну 315 для примера привел, т.е вот тут возникает проблема:

Disallow: /200

Disallow: /210

Disallow: /500

Disallow: /110

Адреса вида:

www.domen.ru/200/09288

www.domen.ru/200/98737

www.domen.ru/200/68727

и т.д.

www.domen.ru/210/12637

www.domen.ru/210/28727

и т.д

тоже самое с 500 и 110

вот такие урлы хочу закрыть...

И что, давно ждете?

http://webmaster.yandex.ru/site/robots.xml к вашим услугам.

Проверка здесь, показывает, что:

User-agent: *

Disallow: /admin

Disallow: /content/_publication

Disallow: /content/_site

Disallow: /content/_tmp_transaction

Disallow: /content/_search_cache

Disallow: /content/poll

Disallow: /system

Disallow: /200

Disallow: /210

Disallow: /500

Disallow: /110

Disallow: /home

Полностью запрещает адреса вида:

www.domen.ru/200/09288

www.domen.ru/200/98737

www.domen.ru/200/68727

www.domen.ru/210/12637

www.domen.ru/210/28727

www.domen.ru/500/12637

www.domen.ru/110/28727

Вобщем сделал просто перечислением всех таких урлов, так как урлы все известны и их адрес меняться не будет, появление других тоже не превидится... За ограничения размера robots не вылезаю, там всего порядка 40 таких урлов...

terrell добавил 21.12.2010 в 21:22

Str256, проверку то я такую делал, но просто эта проверка показывает лишь то, что нет ошибок в файле robots и что такие-то директивы выполнятся... Но там эта проверка не показывает какие урлы будут запрещены...

С точки зреия синтаксиса тоже такие записи должны запрещать адреса, начинающиеся с /200/ там, /110/, /500/

Второй момент, что адреса урлов там формируются через css с помошью div и class, а не с помошью ссылок на определенные файлы через <a href ...> </a> Возможно именно в этом и проблема...

Правила robots то я читал, но я бы не создавал топик если бы все так просто было, поэтому решил перечислением попробовать...

terrell, если на файлы, закрытые в роботс, стоит весомое кол-во внешних ссылок, роботс игнорируется. Правда, это только для Гугла такое правило существует.

http://www.google.com/support/webmasters/bin/search.py?ctx=ru%3Asearchbox&query=robots.txt

Показывает. Это для кого?