Как убрать страницы из индекса? (Не обычный!, а вопрос на засыпку!)

ncux:
301 редирект поставить со старых урлов на новые.
header("HTTP/1.1 301 Moved Permanently");

Массовый редирект новых файлов.
Тепепь перейдем к самому сложному моменту, когда вам надо редиректить массу URL-ов, например после смены вашей CMS. Тут сразу возникает ряд проблем. Во-первых, внесение всех изменившихся адресов в .htaccess файл займет очень много времени, да и само по себе занятие малоприятное. Во-вторых, слишком много записей в .htaccess файле будут тормозить Apache сервера. И в третьих, при внесении такого количества информации высока вероятность, что вы где то ошибетесь. По этому, самый лучший выход, это нанять програмиста который вам напишет динамический редирект.

Нижеприведенный пример написан на PHP, но так же может быть выполнен на любом языке. Предположим вы перешли на новую систему ссылок на вашем сайте и все файлы оканчивающиеся на старый id должны быть средирекчены. Сначала создаем в базе таблицу, которая содержит старый id и новый URL для редиректа.

old_id INT
new_url VARCHAR (255)

Далее пишем код который свяжет ваши старые id с новыми URL-ами

После этого, добавляем следующую строчку в .htaccess:

RewriteRule ^/product-(.*)_([0-9]+).php /redirectold.php?productid=$2

затем создаем PHP файл redirectold.php, который будет поддерживать 301 редирект:

<?php
function getRedirectUrl($productid) {
// Connect to the database
$dServer = “localhost”;
$dDb = “mydbname”;
$dUser = “mydb_user”;
$dPass = “password”;

$s = @mysql_connect($dServer, $dUser, $dPass)
or die(”Couldn’t connect to database server”);

@mysql_select_db($dDb, $s)
or die(”Couldn’t connect to database”);

$query = “SELECT new_url FROM redirects WHERE old_id = “. $productid;
mysql_query($query);
$result = mysql_query($query);
$hasRecords = mysql_num_rows($result) == 0 ? false : true;
if (!$hasRecords) {
$ret = ’http://www.yoursite.com/’;
} else {
while($row = mysql_fetch_array($result))
{
$ret = ’http://www.yoursite.com/’. $row[”new_url”];
}
}
mysql_close($s);
return $ret;
}

$productid = $_GET[”productid”];
$url = getRedirectUrl($productid);

header(”HTTP/1.1 301 Moved Permanently”);
header(”Location: $url”);
exit();
?>

Теперь все запросы к вашим старым URL-ам будут вызывать redirectold.php, который найдет новый URL и вернет 301 ответ с вашей новой ссылкой.