Ктенсдорф: Я не имею к ним отношения вообще. Но они взялись за раскрутку сайта. Провели аудит (видели какое основное зеркало). Они должны знать какое зеркало у сайта - это просто очевидно! Разве нет?
Но под него попадают вторые, так как тоже содержат знак вопроса.
Чтобы их оставить в индексе, дописываем:
Allow: /*?$
Disallow: /*?
Всё понятно?
Гугл так и пишет:
Это соответствие шаблону можно использовать вместе с командой Allow. Например, если знак ? обозначает идентификатор сеанса, можно исключить содержащие этот символ URL-адреса, чтобы робот Googlebot не сканировал повторяющиеся страницы. Но URL-адреса, заканчивающиеся на ?, могут являться версией страницы, которую необходимо включить в индекс. В таком случае можно создать в файле robots.txt следующую запись:
User-agent: * Allow: /*?$ Disallow: /*? Строка Disallow:/ *? блокирует доступ ко всем URL-адресам со знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, внутри которой встречается знак вопроса).
Строка Allow: /*?$ разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, заканчивающуюся на ?, после которого нет других символов).
Разбирайте тогда отдельно: что вызвало и какие причины у КАЖДОГО события. Осилите?
Что вызвало и какие причины?
Я не имею к ним отношения вообще.
Но они взялись за раскрутку сайта. Провели аудит (видели какое основное зеркало). Они должны знать какое зеркало у сайта - это просто очевидно! Разве нет?
А спросить у них религия не позволяет?
Как же продвигатель не может быть в курсе, что основным зеркалом является адрес без www!? Как он может не знать такого? Нонсенс!
А ты с ними принципиально не общаешься?
Лебедь с раком есть, щуки не хватает.
На другом крупном форуме можно раз в 6 часов поднимать
Гость с мегасофта что ли? :D
Ну, насколько помню для отмены правил, назначенных звездочкой
А так Allow: /bla/$ не будет работать что ли? Где ты, звёздочка, ау-у-у! :D
гугл по-своему трактует вопросик на конце
Он никак не трактует вопросик на конце по-своему. Так же трактует как и все остальные.
Т.е. полагаю, что это не касается вопросика в конце урла. Посему они могут посчитать такой урл не запрещенным.
Ты заблуждаешься. Прочитай зачем вообще нужен знак бакса.
/*?
/почему-я-не-хочу-думать?
* == почему-я-не-хочу-думать
Где противоречие?
ЗЫ Это как бы азы. Ладно бы пбасалаев такие вопросы задавал бы.
kimberlit, ты тож почитай, подумай.
Цитата:
http://support.google.com/webmasters...&answer=156449
burunduk, я хз, что там по стандарту, я интерпретирую конкретный случай конкретного поисковика.
Чего тут не ясно?
Есть сайт с урлами:
/bla-bla?=bla-bla
/почему-я-не-умею-читать-первоисточники?
Нужно закрыть первые, пишем:
Disallow: /*?
Но под него попадают вторые, так как тоже содержат знак вопроса.
Чтобы их оставить в индексе, дописываем:
Allow: /*?$
Disallow: /*?
Всё понятно?
Гугл так и пишет:
Это соответствие шаблону можно использовать вместе с командой Allow. Например, если знак ? обозначает идентификатор сеанса, можно исключить содержащие этот символ URL-адреса, чтобы робот Googlebot не сканировал повторяющиеся страницы. Но URL-адреса, заканчивающиеся на ?, могут являться версией страницы, которую необходимо включить в индекс. В таком случае можно создать в файле robots.txt следующую запись:
User-agent: *
Allow: /*?$
Disallow: /*?
Строка Disallow:/ *? блокирует доступ ко всем URL-адресам со знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, внутри которой встречается знак вопроса).
Строка Allow: /*?$ разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, заканчивающуюся на ?, после которого нет других символов).
А где у него строка
Disallow: /*?$
Разрешено все, что не запрещено.
А зачем она нужна, если есть Disallow: /*?
Читай мануалы вдумчиво.
Строка Allow: /*?$
А где у него эта строка?