RewriteRule ^razdel$ razdel.html [L,R=301]
Внезапно!!! На меня вдруг снизошло прозрения, "Я видит" это типа Яндекс видит.
Абычный редирект здесь не поможет.
Юзай мод_реврайт.
Не вижу ни каких ошибок, сайт нормально открывается по юзер-агенту яндекса.
Главная страница в кэше тоже есть.
Этим вообще нечего не закроешь, маска не совпадает.
ТС, вам нужно закрыть только раздел или раздел с новостями?
1. Disallow: /?id_news=36$ или метатегом.
2. Disallow: /?id_news=36 (все что содержит id_news=36 будет запрещено)
В принципе верно.
Статику обычно делают с ключевыми словами в адресе - /supermegawarezsite-1.html, вот это в почете у пм.
А в динамические такого не всунешь, там только имя переменных.
Смотрим шаблон ссылок дублей и запрещаем.
Disallow: /photo-montage-menu/hren/
Disallow: /vyborpotipu/
Версия форума какая?
Что за ошибки, после каких манипуляции с форумом они у вас появились?
А что в вашем понимание "адекватные"?
Когда-то юзал SiteMap Generator и Crawler Sitemap (точное название уже не помню) - мне они показались абсолютна "адекватными", нормально парсят урл'ы учитывая запреты.
Хотя проще написать скрипт который выдернет из базы ид ссылки. Дело 10 минут.
Для популярных движков таких модулей куча.
Для начало сделать нормальный роботс.тхт.
ТС, денвер запущен?
Обращения к скрипту, надеюсь, делается через адресную строку браузера http://localhost/script.php
<?php mysql_connect('sql_server','db_user','db_pass'); mysql_select_db('db_name'); $result = mysql_query('SELECT * FROM table_name'); while($row = mysql_fetch_assoc($result)) { print_r($row); } mysql_close(); ?>
