Как верно написать в robots.txt

Если я правильно понял вопрос, то:

User-agent: *

Disallow: /nobe.html?sort=products_sort_order&filter_id=

Если sort только на странице nobe.html

Если и на других страницах, то

Спасибо NickPro и kimberlit

User-agent: Yandex

Disallow: /*?sort=

Простите, но после = не надо еще раз ставить *, так как там цифры тоже разные и их очень много.

Disallow: /*?sort=*

* в конце шаблона необязательно (я бы сказал даже, ненужно указывать). Ибо главное, чтобы шаблон совпал с началом адреса и этого уже достаточно.

DyaDya, как теперь в _webmaster.yandex.ru/delurl.xml , удалить весь подкаталог (все URL, начинающиеся с данной строки)

Как там теперь написать?

http://www.xxx.ru/*?sort=

1. указывайте правильный путь, включая слэш

Disallow: /nobe.html?sort=products_sort_order&filter_id=

- спецсимвол * учитывает Яндекс и его использование имеет смысл, если после звездочки что-то нужно ставить (По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'):

При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:

User-agent: Yandex

Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx' и '/cgi-bin/private/test.aspx'

Disallow: /*private # запрещает не только '/private', но и '/cgi-bin/private'

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex

Disallow: /cgi-bin* # блокирует доступ к страницам начинающимся с '/cgi-bin'

Disallow: /cgi-bin # то же самое

2. отдельно User-agent: имя_робота - не надо, если нет особых пожеланий к конкретному роботу.

Яндекс использует расширенный стандарт robots.txt и если вы используете эти расширения, то иногда лучше сделать отдельный блок User-agent. В общем случае эти расширения игнорируются остальными роботами.

Удаление URLа

Документ http://www.xxx.ru/*?sort= не может быть удален из базы Яндекса, так как он не был проиндексирован.

Подскажите как верно прописать в delurl.xml ?

В вмконсоли обнаружил кучу ссылок более 200

http://www.xxx.ru/sofe.html?sort=products_sort_order&filter_id=137

http://www.xxx.ru/norrt.html?sort=products_sort_order&filter_id=12

Вручную прописывать в robots каждую ссылку? Как удалить весь все ?

*?sort=products_sort_order&filter_id=* ( что бы больше не индексировалось..) В коде сайте вабще все в <noindex> не понятно почему яндекс прошелся и все эти ссылки добавил, похоже ему наплевать теперь на noindex.

Спасибо всем кто подскажет верное решение. Так как понимаю одно, если delurl "ответит" , удалиться весь подкаталог с "*sort*" - это и есть верное решение.

Хорошо бы если яшка дал возможность использовать шаблоны при удалении... Но пока такой возможности нет.

Поэтому удалять либо ручками по одному URLу, либо специальным скриптиком (но его нужно еще найти или написать). Ну и третий вариант, дождаться, когда яшка сам выкинет запрещенные к индексации страницы из индекса.

kewlman, предлагаю почитать сайт http://robotstxt.org.ru/. На нем много полезной информации о robots.txt.

Также следует учитывать, что большинство поисковиков работают с утвержденным стандартом, поэтому инструкции типа "Disallow: /nobe.html?sort=products_sort_order&filter_id=" не будут учитываться, так как стандарт поддерживает только названия файлов и папок, а все параметры не включены в стандарт.

На сколько я знаю, расширенный формат поддерживает Гугл, Яндек, Яху и частично MSN. Остальные поисковики работают по стандарту.