мы уже продумывали подобную реализаци, и даже используем ее для технических страниц типа "Сайт не найден" или "Аккаунт заблокирован", но выдавать 403 или 500 ошибку на других страницах не так уж безопасно... есть вероятность что какой-то браузер будет выдавать не страницу сайта, а свою стандартную страницу с ошибкой 403 (доступ запрещен).
Простой же параметр в заголовке ни для кого никакой проблемы не сделают, а поисковым системам (в самом простом вариант) нужно лишь добавить еще одну проверку... точно так же как проверяется код ошибки так же можно и проверить еще один заголовок...
А представьте как порадуются владельцы форумов и CMS с 1 запускным файлом, которые не могут закрыть технические страинцы с помощью robots.txt
нет, но то явно не вы....
ну вот, хоть 1 достойный ответ.... спасибо вам, monstring
пожалуйста, прочитите первое сообщение еще раз или два, а то пишите глупости! закрывать нужно только неинформациаонные страинцы.... вы понимаете это или мне еще раз повторить? закрытие с помощью всех существующих методов не подходят для решения данной проблемы... уж поверьте в этом мы разбираемся куда больше чем все запостившиеся здесь в настоящий момент времени вместе взятые, и если бы была возможность реализовать это robots.txt (а другие предложенные методы это чушь полная, люди даже не понимают разницу между блокировкой индексации страницы и участка кода на ней) мы бы уже это сделали. Те что пишут про ЧПУ, дети, которые пытались баловаться с какой-то простенькой системой управления, которая своими ЧПУ грузит и базу и веб-сервер... (почему это происходит все равно не поймете, так что объяснять не буду).
не позорьтесь! вы понятия не имеете про доходы бесплатных хостов.... чем больше качественных страниц будет в индексе и чем меньше там будет мусора, тем лучше для всех, в том числе и для фрихостов.
Есть тут хоть 1 специалист? дети пишут, даже не вникнув в смысл предложения....
что не оратор, то еще больший "спец" чем предыдущий.... ну что же... это обычная ситуация на форумах, на 10 человек, которые что-то знают и понимают тысячи невежд....
разницу между заголовками и телом страницы знаете? если нет, то берите книги и читайте....
зачем же придумали роботс.тхт если есть мета теги?
А как быть с системами, позволяющими полностью шаблон страниц менять? Туда не получится вписать МЕТА-тег. Точнее прописать можно, но дорвейщики как раз и будут удалять их, они обычно кое-то понимают в ХТМЛ. А закачанные файлы в принципе нельзя таким образом закрыть от индексации по какому-то условию, не зная конкретных имен (разве что закрыть все, но это не годится).
а зачем тогда был придуман robots.txt елси можно все закрывать через <noindex>. вы хоть понимаете, что есть разница между не нужно индексировать страницу вообще и не нужно индексировать часть страницы? зачем получать всю страницу чтобы пропарзить ее и найти <noindex> и </noindex> если можно еще на стадии запроса head понять что эту страницу индексировать не нужно.
не смешите... во-первых <noindex> тут не помощник, во-вторых есть разница между выдать заголовок и пропарзить страницу на лету и вставить в нужное место ноиндекс да еще и так чтобы он соответствовал стандартрам XHTML (к примеру), в-третьих если никому из хостеров не было дело до чего-то то это совсем не значить что времена не меняют и что новым хостерам/разработчикам/оптимизаторам до этого дело есть....
может вы не знаете но ЧПУ не всегда подходят и если мне нужно закрыть 50 страниц то что их все описать в роботс? а если их больше чем 50? Кроме того смешно звучат ваши слова... добавить 1 строку в заголовок куда проще, чем делать ЧПУ..... но это уже техническая сторона вопроса... явно она вам не близка.
есть несколько основных поисковых систем, на них будут равняться более мелкие, если каждая из этих систем введет свой заголовок, то это ничуть не усложнит жизнь разработчикам, что 1 заголовок прописать что 5.... Но, конечно же желательно все сделать одинаково. И для этого не нужно никакого сообщества, нужно только 1 условие добавить при проверке страниц ботом....
Если уж на то пошло, то есть мета тег "robots: noindex,nofollow", можно для заголовков тоже самое сделать и никаких сообществ не нужно... вы сами придумываете проблемы из ничего...
сразу видно, что вы "большой знаток" того, что говорите.... да и не важно как хостеры будут поступать, это уже зависит от них, важно чтобы такая возможность была... А на хосте, который будет забоится о чистоте индексации и о своих крупных пользователях будут как раз и развиваться хорошие сайты а не заброшенные странички про кота.
Пожалуйста, давайте без споров, вы уже сказали свое мнение, оно принято... пусть другие выскажутся по этой теме....
если просто спросил, то, да...
это к теме не относится.
на хостингах типа юкоз или малива, т.е., которые предоставляют предустановленные скрипты какое-то время или до определенной заполненности сайта выводить этот заголовок на всех динамических страницах, а все статические всегда будут иметь этот заголовок, поэтому дорвейщики вообще будут лишены возможности доры размещать. На хостингах типа народа тоже можно определенное время выводить этот заголовок, т.е. для новых сайтов, новый сайт это или нет можно проверять по дате создания физической папки пользователя... но можно придумать и другие варианты... важно чтобы такая возможность была, а потом она обрастет вариациями ее использования....
а сколько ненужных страниц можно было бы запрещать к индексации... ведь поисковые системы одну только страницу регистрации на форумах могут сотни+ раз проиндексировать, если там айди сессии передается, да еще и нестандартное имя имеет...
Данный заголовок так же необходим как и роботс.тхт, например если нужно закрыть 100 динамических страниц с разными именами или с одним запускным файлом и разными параметрами, то роботс.тхт тут не поможет...
