Если Вы знакомы с интернет технологиями и готовы написать красивый и "работающий" контент, то присылайте работы на egor@vesus.ru, если понравится обеспечу заказом.
в среднем 35-40 кусков зеленых.
если не нравятся описанные выше решения, то вставте в шаблон между тегами head
<?
if(strpos($_SERVER['SCRIPT_NAME'],".php")) echo "<meta name=\"robots\" content=\"noindex, follow\"> ";
?>
Попросите программиста написать доп. модуль к Cms которую вы используете или которая вам симпатична. Работы на 2 часа для толкового мастера.
Либо закажите разработку Cms под свои нужды, будет работать быстрее, будет удобнее и нужный вам функционал. Практически все Российские новостные сайты поступают именно так и имеют такие фишки.
Готовых Cms с такой фишкой не встречал.
2wolf
Корректней тогда уже автоматом вставить мету robots со значением noindex.
>> Согласен
Отдавать пустую 200 - и риск бана есть небольшой
>> Поисковые машины на сколько мне известно игнорируют пустые страницы. Но это уже не по моей части, я не специалист по поисковым машинам. Я описываю программные методы.
2 wolf
можно и 404 страницу, все, что угодно.
Я описал лиш программный механизм, а что выдавать если способ понравится, автор темы думаю решит сам.
Подобные механизмы у меня стоят на двух сайтах, один из которых работает уже 4ре года, проблем с поисковиками у меня небыло + ко всему этот сайт по популярному запросу на первом месте в яндексе.
Павел, нет конечно.
Вы немножко не поняли как это работает.
Сначала идет перехват запрашиваемого URL страницы и передается на файл с этим кодом (пункт 1), который и определяет кто пришел и выводит или не выводит страницу.
2) По мимо того, если генерится статика, то как вариант - добавить несколько строк кода в этот механизм, если создаете файл php то автомат вставлять в него тэг ноиндекс.
Вариантов можно придумать множество.
В данном случаи это не соответствует действительности.
Если бы мы яндексу выдавали вместо этого страницу со словами "Секс, Раздаем деньги и другие популярные поисковые запросы), то да - бан получили бы. А если жы мы выдаем пустую страницу, или же если яндекс заходит и мы подсовываем ему страницу с вставленным тегом ноиндекс - то ничего нам не грозит.
В моем примере выше написан механизм. Павел, я думаю это понял.
1. Перехват страницы. Способов разных несколько, наверное самый простой и доступный мод реврайт. Пишите правило пересылки запроса например на страницу close_robots.php в соответствии со структурой каталогов форума.
2. Делаете php скрипт (или на любом другом языке), например такой:
$page = $_SERVER['REQUEST_URI'];
if(strpos($page,".php") and strpos($_SERVER['HTTP_USER_AGENT'],"andex"))
{
echo "Извини, ты Яндекс, страничку я тебе не покажу.";
} else
include("$page");
}
1. Перехватываете запрашиваемый Url
2. Смотрите кто запросил страницу (поисковая машина или человек)
3. Парсите имя страницы / контент страницы на предмет закрытия индексации яндексом или другими поисковиками.
4. Если поисковая машина - то выдаете пустую страницу или страницу с тегом ноиндекс, если человек - то показываете страницу.
В итоге:
1. Работает без отказов.
2. Можно закрыть индексацию как ко всем поисковикам (даже к тем, которые игнорируют роботс.тхт), так и поотдельности, например только яндексу.
Все.
