Легко, вот примеры:
1. Ссылки с сайта, известные в Rambler: http://search.rambler.ru/srch?sort=0&filter=www.fl34.ru&short=2&limit=50
2. Наружние ссылки на сайт, известные в Rambler: http://search.rambler.ru/srch?words=www.fl34.ru&news=2
исправьте в URL адрес на свой сайт.
Вы можете проверить список реально проиндексированных документов в Яндексе с ващего сайта, например, так: http://www.yandex.ru/yandsearch?numdoc=50&text=%23url%3D%22www.fL34.ru*%22&pag=d
как он идёт? по-правильному должно, если адрес и правда новый, в заголовках:
Header("HTTP/1.1 301 Moved Permanently");
Header("Location: " . $newpage);
exit();
Карать за это по идее нельзя, иначе любая псевдостатика была бы под запретом, такого ограничения я нигде не видел.
Я так думаю, что у меня и получалось зацикливание из-за наличия двух методов: RewriteRule и PHP-кода.
Т.е. в PHP вместо старого адреса с параметром подменялся 301-й redirect на новый .html адрес, но Apache, как я понимаю, код директивы RewriteRule разыменовывает для исполнения обратно, т.е. .html адрес приводит к реальному с параметром ?id=N, а там всё идёт по кругу.
Здесь я не до конца понимаю методику работы с двумя параллельными системами адресации.
Я не полно описал ситуацию, конечно, в .htaccess есть код:
RewriteEngine On RewriteBase / RewriteRule ^cat([0-9]+).html/?$ /catalog.php?id=$1 [QSA]
но ведь старая адресация тоже осталась, например, catalog.php?id=23.
Я её не убирал, просто сделал дубляж адресов в виде псевдостатики.
И PHP код, который я привёл выше, должен был в случае захода на адрес, например, catalog.php?id=23, сделать redirect "HTTP/1.1 301 Moved Permanently" на страницу cat23.html.
Но при таком коде в отладке на локальном denver'e страница не появляется в браузере, а Apache.exe ставит загрузку процессора под 100%.
Главное, я выяснил, что страницы псевдостатики в кэше Google есть. Не уверен, что мне стоит в этом случае отлаживать код для отдачи 301-й ошибки.
С Вашей ситуацией с каталогами я не сталкивался, могу, единственное, посоветовать переделать псевдостатику на links1.html, links2.html и т.д., без каталога. И поставьте ссылки на них с главной страницы, я на главную вывожу каждый раз случайным образом ссылки на три страницы каталога с псевдостатикой.
Кстати, big sorry - я ошибся насчёт отсутствия индексации в Google, глаза или мозги слепые :). В конце просмотра страниц в Google увидел-таки такую надпись:
In order to show you the most relevant results, we have omitted some entries very similar to the 41 already displayed.
If you like, you can repeat the search with the omitted results included.
Т.е. google скрывал "похожие", как он считал, страницы. А если этот фильтр отключить, все страницы с псевдостатикой прекрасно видны :)
Для корня домена разницы и правда нет. А вот ссылки вида www.domain.com/subdom/ нужно писать с /, иначе точно будет редирект на URL с /.
Самое что интересное, Rambler и Yandex прекрасно индексируют обе системы адресации, в Яндексе, например, список страниц выглядит так (небольшая выборка):
cat30.html (6 КБ) · 04.11.2005
cat2.html (6 КБ) · 01.11.2005
cat3.html (6 КБ) · 01.11.2005
catalog.php?id=7 (6 КБ) · 23.10.2005
cat52.html (7 КБ) · 01.11.2005
catalog.php?id=5 (6 КБ) · 04.11.2005
cat44.html (6 КБ) · 04.11.2005
причём без отдачи 301-й ошибки, так как работают обе адресации - и старая через параметры и новая.
Честно - не знаю, если нужно отдать 301-ю ошибку, то как это правильно в данном случае на PHP сделать.
Точно уже не помню, но как минимум месяц прошёл, прошлый каталог октября уже был с самого начала с псевдостатикой. Уже и Rambler, и Yandex давно взяли в кэш больше сотни страниц с новой адресацией через псевдостатику, кроме Google :(
Сам сайт работает с начала августа 2005 г.
