роботс и пс

в том-то и дело что запрещено

Disallow: /*?

выше я привёл в пример Яшу в результатах гугла :)

Яшу пока не рассматривал. Пока говорим о вашем конкретном случае.

Disallow: /*? - это вариант не исключающий вашу конкретную страницу со знаком вопроса в конце. Если была бы без вопроса - другое дело.

Liberus,

Disallow: /*?

и

Disallow: /*?*

идентичны с точки зрения стандарта :)

burunduk, я вроде скорректировался. :)

Имеется в виду, что правильная конструкция: Disallow: /*?$

А зачем она нужна, если есть Disallow: /*?

Читай мануалы вдумчиво.

это для страниц заканчивающихся на ?

при том для разрешения

Allow: /*?$

а

Disallow: /*?

запрещает всё где есть ?, при чём не важно в начале, в конце или в середине :)

http://www.robotstxt.org/orig.html

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449&from=40367&rd=1

:)

kimberlit, ты тож почитай, подумай. Для этой конструкции может быть исключение. Ну, если не прав, поправь.

burunduk, я хз, что там по стандарту, я интерпретирую конкретный случай конкретного поисковика.

Думаю, что это нетрудно проверить простым экспериментом.

Пусть гугл схавает страничку без вопросика в конце

allave.ru/tser.html?text=ты+помнишь+свой+первый+поцелуй. Проверим. Топик-то уже в выдаче.

Ну и вот еще такой с вопросом

http://www.google.ru/search?q=site:www.yandex.ru/yandsearch&num=100&hl=ru&newwindow=1&client=firefox&rls=org.mozilla:ru:official&prmd=imvns&filter=0&biw=1600&bih=665

:)

при наличии записи

Disallow: /yandsearch

Чего тут не ясно?

Есть сайт с урлами:

/bla-bla?=bla-bla

/почему-я-не-умею-читать-первоисточники?

Нужно закрыть первые, пишем:

Disallow: /*?

Но под него попадают вторые, так как тоже содержат знак вопроса.

Чтобы их оставить в индексе, дописываем:

Allow: /*?$

Disallow: /*?

Всё понятно?

Гугл так и пишет:

Это соответствие шаблону можно использовать вместе с командой Allow. Например, если знак ? обозначает идентификатор сеанса, можно исключить содержащие этот символ URL-адреса, чтобы робот Googlebot не сканировал повторяющиеся страницы. Но URL-адреса, заканчивающиеся на ?, могут являться версией страницы, которую необходимо включить в индекс. В таком случае можно создать в файле robots.txt следующую запись:

User-agent: *
Allow: /*?$
Disallow: /*?
Строка Disallow:/ *? блокирует доступ ко всем URL-адресам со знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, внутри которой встречается знак вопроса).

Строка Allow: /*?$ разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, заканчивающуюся на ?, после которого нет других символов).

О, кстати, в яндексе ушли уже в 404, а еще 5 минут назад ссылки открывались.

kimberlit, я аппелирую в пользу вот этого участка:

Т.е. полагаю, что это не касается вопросика в конце урла. Посему они могут посчитать такой урл не запрещенным.