Предложение для разработчиков поисковых систем

ну вот, хоть 1 достойный ответ.... спасибо вам, monstring

нет, но то явно не вы....

Первый признак пораженчества - переход на личности.

Ну и конечно вы разбираететсь в этом лучше тех, кто проектировал html и RFC стандарты. Не грузите тут всех, пожалуйста, тем, что вы, типа, самый умный. Кроме вас в этой ветке никто на личности не переходил, это раз. Во-вторых, судить об умственных способностях и технических знаниях оппонентов по 1-2 сообщениям в этой теме - есть невежество.

Вам уже подкинули вариант с роботс.тхт, дальше развивать идею можете сами.

Поздравляю, вы либо не особенно понимаете что такое ЧПУ и для чего делается, либо фигово программируете.

"Все", я так понимаю, это ПС и их пользователи? Скажите, в чем же выгода фрихостов? Типа, "о, на этом хосте такие замечательные и нужные всем странички, пойдемте все туда"?

Зачем придумали тег <cite> и вместе с ним тег <blockquote>? Как разберетесь - скажите, я и вам отвечу на ваш вопрос ;)

Да и если уж на то пошло, то сама идея бесплатного хостинга (я не имею в виду хостинг за ссылки) умирает потихоньку. И ее вряд ли уже реанимируешь, так как все больше и больше людей понимает, что за все хорошее надо платить.

мы уже продумывали подобную реализаци, и даже используем ее для технических страниц типа "Сайт не найден" или "Аккаунт заблокирован", но выдавать 403 или 500 ошибку на других страницах не так уж безопасно... есть вероятность что какой-то браузер будет выдавать не страницу сайта, а свою стандартную страницу с ошибкой 403 (доступ запрещен).

Простой же параметр в заголовке ни для кого никакой проблемы не сделают, а поисковым системам (в самом простом вариант) нужно лишь добавить еще одну проверку... точно так же как проверяется код ошибки так же можно и проверить еще один заголовок...

А представьте как порадуются владельцы форумов и CMS с 1 запускным файлом, которые не могут закрыть технические страинцы с помощью robots.txt

Объясняю более популярно, чтоб отпали неподходящие предложения.

Задача:

Есть бесплатный хостинг CMS, в которой пользователь шаблоны может полностью изменить (значит дописать МЕТА-тег нельзя), а также закачать свой robots.txt (значит через него тоже сделать нельзя). Может также закачивать любые хтмл-файлы с любыми именами в любые созданные папки.

Требуется:

Закрыть динамические страницы, генерируемые CMS, на фиксированное время (например, месяц после регистрации, должна быть возможность задать это на лету). Тоже самое для статических файлов, но их можно запретить и навсегда.

CMS может выдавать любые дополнительные ХТТП заголовки, для статики тоже можно прописать любые.

А зачем?..

Топикстартер, обратите внимание, ораторы рассуждат о реалистичности ваших предложений, а не о ваших умственных / профессиональных способностях. Хотя, тема, кажется, благодатная, мастеров может найтись немало =) Уважайте оппонентов.

По субжу. Если субж направить из фантастического русла в практическое, можно, как предложил monstring, отдавать роботам 403/404 статус. Придумайте 10 отличий в поведении ботов при получении такого статуса или Вашего заголовка. Кроме того, в подавляющем большинстве случаев, на практике для описаных Вами страниц 403/404 статус можно отдавать не только ботам, но и любому агенту. Обдумайте на досуге.

Кроме того, подозреваю, что ситуаций, не решаемых через mod_rewrite + robots.txt, крайне мало. На практике не сталкивался. Проведите ревизию знаний по предмету =)

А как на счет: залезть в базу и проверить дату регистрации?

Так, чтобы это не сказалось на нагрузке сервера.