Запрет к индексации

Disallow: /*.php$

Disallow:/*-print.html$

Я думаю, далеко не все поисковики могут поддерживать wildcards в файле robots.txt, т.к. это расширение формата - не стандартное.

На мой взгляд, более корректный путь - использование для таких файлов мета-тега robots со значением noindex

Точно, проверил валидатором.. имхо такой robots.txt только для гугля прокатит

С этим согласен.

Дело в том, что таких файлов немало :)

Ручками это придется делать полгода ;)

Есть ли другие способы?

Если вы можете автоматом получить список этих файлов, то можно автоматом сгенерить роботс.тхт

Но если файлов много, то вопрос - сколько строк схавает бот? Возможно есть ограничение на размер файла роботс.тхт.

А почему именно ручками? Неужели нет возможности сделать это автоматом?

А мнение k-os в данном случае верно? Больше волнует Яндекс.

1. Перехватываете запрашиваемый Url

2. Смотрите кто запросил страницу (поисковая машина или человек)

3. Парсите имя страницы / контент страницы на предмет закрытия индексации яндексом или другими поисковиками.

4. Если поисковая машина - то выдаете пустую страницу или страницу с тегом ноиндекс, если человек - то показываете страницу.

В итоге:

1. Работает без отказов.

2. Можно закрыть индексацию как ко всем поисковикам (даже к тем, которые игнорируют роботс.тхт), так и поотдельности, например только яндексу.

Все.

А не проще ли просто 404 отдать?

А как я отдам 404 именно на те страицы, которые мне не нужны?

Еще немного добавлю: речь идет о форуме. На нем установлен хак, который формирует статику.

Мне необходимо все .php фалй запретить, а также страницы для печати.

Вот как это сделать?

Спасибо :)