Предложение для разработчиков поисковых систем

А причина вся вот в чем. Конечно, ввести заголовок проще, чем нанять нормальных модераторов и заставить их работать и чистить хост от доров.

Добавить соответствующую запись в мета-теги ещё проще. Чем не средство? Велосипед с треугольными колесами изобретаем?

а зачем тогда был придуман robots.txt елси можно все закрывать через <noindex>. вы хоть понимаете, что есть разница между не нужно индексировать страницу вообще и не нужно индексировать часть страницы? зачем получать всю страницу чтобы пропарзить ее и найти <noindex> и </noindex> если можно еще на стадии запроса head понять что эту страницу индексировать не нужно.

не смешите... во-первых <noindex> тут не помощник, во-вторых есть разница между выдать заголовок и пропарзить страницу на лету и вставить в нужное место ноиндекс да еще и так чтобы он соответствовал стандартрам XHTML (к примеру), в-третьих если никому из хостеров не было дело до чего-то то это совсем не значить что времена не меняют и что новым хостерам/разработчикам/оптимизаторам до этого дело есть....

Можно закрыть через ЧПУ и одну строчку в robots.txt.

На сайте делаем категорию "noindex", которая отображается так site.ru/noindex/articlex.

И как сказал Junior

А как быть с системами, позволяющими полностью шаблон страниц менять? Туда не получится вписать МЕТА-тег. Точнее прописать можно, но дорвейщики как раз и будут удалять их, они обычно кое-то понимают в ХТМЛ. А закачанные файлы в принципе нельзя таким образом закрыть от индексации по какому-то условию, не зная конкретных имен (разве что закрыть все, но это не годится).

что не оратор, то еще больший "спец" чем предыдущий.... ну что же... это обычная ситуация на форумах, на 10 человек, которые что-то знают и понимают тысячи невежд....

разницу между заголовками и телом страницы знаете? если нет, то берите книги и читайте....

зачем же придумали роботс.тхт если есть мета теги?

На бесплатном хостинге можно просто настроить так, что роботов будут отправлять в пустоту (клоакинг работает на правое дело), поэтому если бы бесплатные хостинги хотелы бы решить проблему, то они решили бы ее за раз. А если они не хотят решать, значить это экономически выгодно.

3dn, зачем бесплатному провайдеру ограничивать поток денег :)

пожалуйста, прочитите первое сообщение еще раз или два, а то пишите глупости! закрывать нужно только неинформациаонные страинцы.... вы понимаете это или мне еще раз повторить? закрытие с помощью всех существующих методов не подходят для решения данной проблемы... уж поверьте в этом мы разбираемся куда больше чем все запостившиеся здесь в настоящий момент времени вместе взятые, и если бы была возможность реализовать это robots.txt (а другие предложенные методы это чушь полная, люди даже не понимают разницу между блокировкой индексации страницы и участка кода на ней) мы бы уже это сделали. Те что пишут про ЧПУ, дети, которые пытались баловаться с какой-то простенькой системой управления, которая своими ЧПУ грузит и базу и веб-сервер... (почему это происходит все равно не поймете, так что объяснять не буду).

не позорьтесь! вы понятия не имеете про доходы бесплатных хостов.... чем больше качественных страниц будет в индексе и чем меньше там будет мусора, тем лучше для всех, в том числе и для фрихостов.

Есть тут хоть 1 специалист? дети пишут, даже не вникнув в смысл предложения....

Специалист это типа тот, кто согласится?:)

Гораздо проще и быстрее просто выдавать фобиден для поисковых ботов.

Все попытки продвинуть стандарты в области индексации (а предложения добавить МЕТА РОБОТС ноидекс\нофолоу в спецификацию http://ds.internic.net/rfc/rfc2068.txt звучали не раз, успешно проваливались. Так что ищите другие способы. Гугл к примеру позволяет с роботс.тхт много трюков использовать для облегчения жизни.