Обратите пожалуйста внимание на первую вакансию. Что вы все ко второй то прицепились? Если сильно напрягает - могу вторую удалить...
Отлично, гугля понимает регулярные выражения, а как с этим у яндекса/рамблера?
А еще
Disallow: /test/0
...
Disallow: /test/9
И еще насколько я помню рамблер у меня при одной строчке
Disallow: /test/?
запрещал индексирование всего раздела вместе с подразделами.
Ну тогда наверное экселевские таблички или прочие офисные приблуды. 8)
Возможно с вашего сайта копируют текст и вставляют его в ворд. При этом тоже могут такие запросы возникать.
И отправлять такие запросы на дисней бесполезно, т.к. эти запросы происходят не браузером а значит и диснеевского сайта никто не увидит.
На сайте вордовые файлы выложены? Это при их открытии ворд запрашивает такие странички.
Та же проблема - подскажите, кто как решает этот вопрос?
Может как то можно "подсказать" поисковику как индексировать в первую очередь нужные мне страницы и только потом все остальное?
Запрещать то, что уже проиндексировано жалко, поскольку приличное количество заходов с поисковиков на "это" есть.
