Засорение индекса

Вина: неправильные ссылки, неправильная генерация движка, разгильдяйство Яндекса.

Как лечить: делать на сайте редирект с неправильного варианта на правильный.

Движка нет, все страницы html. Неправильные ссылки, даже не знаю, у меня на сайте точно нет. Трудно представить кто на других сайтах может такие ссылки ставить, да еще в таких количествах.

Честно говоря не знаю как сделать редирект с такого количества страниц. Даже не знаю как в robots запретить одной строкой. Может кто подскажет можно ли и как в robots запретить индексацию страниц, которые содержит 2-ва html в 1-м url?

1. По адресу: «mysite.ru/page1.html/page2.html» что сайт отдает? Рабочую страницу какую-то, или ошибку 404?

2. Robots не поддерживает шаблонные решение через регулярные выражения, а редирект поддерживает. Так что если, не хотите каждую ошибку в ручную прописывать, то забейте на robots. Ждите пока в тему заглянет специалист по синтаксису редиректов и подскажет правильно решение.

Отдает первую страницу в url без стиля. Спасибо, что дали направление для решения.

Disallow: .html*

вроде так запретите всё лишнее,

для надёжности проверте в веб мастере как на запрет ненужного, так и на индексацию нужного.

Не подходит.

скорее потому что ссылки имеют в коде вид не /stranica1.html а stranica1.html

в результате уже со второй страницы ссылка принимает вид

/stranica1.html/stranica1.html

вот тут почитайте http://maviko.net/stati/html/absolute-and-relative-url

интересно почему не подошло?

При проверке в вебмастере:

Если так Disallow: .html*

Правило начинается не с символа '/' и не с символа '*'

И страницы которые нужно удалить - результат проверки: разрешен.

Если так Disallow: /.html*

все равно не закрывает от индексации ненужные страницы.

---------- Добавлено 28.04.2013 в 23:36 ----------

Не поняла Вас. Причем тут относительные и абсолютные ссылки.

А так?:

Disallow: /*.html/*