Как убрать мусорные страницы?

По уму - нужно движок лечить, разбираться кто и почему плодит дубли.

в том то и дело, что сайт на html (инклюды), в панели Я.Вебмастера загружены тысячи подобных мусорных страниц, вручную каждую редиректить нереально

что прописать, чтобы такие страницы выводились 404 not found?

Похоже на PATH_INFO. PATH_INFO пропускается, даже если использовать условие "если файл". Попробуйте закрыть по непустому значению этой переменной. За одно и по непустому значению QUERY_STRING не помешает закрыть.

По-хорошему нужно повесить на какой-нибудь движок. Если осмелитесь, могу подогнать один тестовый движок.

Возможно, какая-то редиска на вас такие ссылки наставила.

Также весьма вероятно, что эти "накруты" из-за относительных ссылок. Если это именно так - перепишите их в прямом виде, т.е. замените <a href="razdel/page.php"> на <a href="http://site.ru/razdel/page.php">

И в любом случае пропишите в robots.txt следующее:

Disallow: /razdel/*.php/*

но, единственное, убедитесь через вебмастерскую панель Яндекса, что страница

http://site.ru/razdel/page.php НЕ закрыта от индексирования, а

страницы вида http://site.ru/razdel/page.php/, http://site.ru/razdel/page.php/абракадабра - закрыты.

С Гуглом же никаких проблем, он "накрученные" дубли наподобие site.ru/razdel/page.php/url/url2/page3.php - игнорирует, а если и ставит в индекс - то ненадолго;

а вот Яндекс может месяцами их держать, и о последствиях можно только гадать

Другу очень крупный портал так забанило с поисковым трафиком 4К в сутки. Почистили движок и сайт вернулся в поиск.

Срочно ручками в роботс или садиться и нормальный движок писать.

Если функциональности хватает, то движок совершенно ни к чему. Самый простой вариант Disallow: /razdel/*.php/* (лично мне помогло).

Наложение заплатки в виде

Disallow: /razdel/*.php/*

Что бы убрать мусорные страницы, надо изменить поведение php скрипта который их генерирует.

Страницы у ТС-а уже в индексе и, прежде всего, нужно закрыть мусор

Если сайт самописный (html + инклюды + скрипты), то виноват почти 100% не какой-то определённый php-скрипт, а внутренние относительные ссылки вида <a href="razdel/page.php">, которые и "плодят" именно такие многоэтажные урлы.

И тогда с практической точки зрения Disallow достаточно - по крайне мере, у меня вот уже несколько лет Яша может и видит, но НЕ ВЫКАЧИВАЕТ "всё это добро" (что самое главное), а юзеры подобные адреса набирают довольно редко :) Впрочем, сейчас как раз и будет такой редкий случай - здесь, безусловно, качественное решение - редирект или 404:

/ru/forum/901874

Давайте спросим у админов Сёрча ,как?☝

Это так :)

Однако такое решение нельзя назвать правильным, ибо скрипт (под словом скрипт я имею в виду то что генерирует HTML/URL, например, какая-то CMS) будет продолжать тратить ресурсы сервера на не нужную, вредную, работу.