Пережитки до mod_rewrite

S
На сайте с 31.10.2001
Offline
18
Sys
1155

Опять же на тему мусора возникает следующий вопрос.

В своё время на сайте была произведена доработка, под mod_rewrite, и в итоге емеем, что тот же Я хранит у себя в базе по 2 экземпляра страниц. Склейка этих страниц поисковиком не происходит, т.к. страницы запрашиваются спайдером в разное время и имеют различный контент.

Например, "анекдот дня":

1. site.ru/anekdot/?action=anek_day

2. site.ru/anekdot/day.html

Вручную удалить 1-ю страницу не представляется возможным, т.к. она не возвращает 404-ю ошибку и не прописана в robots.txt, а сделать бы это хотелось. Ссылок на 1-ю страницу не осталось.

Как вы считаете будет ли верным такое решение:

1. В роботах запрещаем к индексированию /anekdot/

2. Вручную удаляем раздел /anekdot/ из Я

3. Ждём пока удалится

4. Чистим роботс

5. Вручную суём на индексацию /anekdot/ или ждём пока спайдер сам припрётся.

И если это решение верное, сколько времени на это уйдёт?

Может заодно и новые kw и дескрипшены всосутся в базу, а то уже в течении 2-х месяцев Я на них болт положил, хотя спайдер периодически приходит. :)

С уважением, Юрий.
[Удален]
#1

Sys, в скрипте надо проверять запрашиваемый документ, если это не то, что надо индексировать - выдавать 301 редирект на нужный адрес.

S
На сайте с 31.10.2001
Offline
18
Sys
#2

А вот, такой вопрос: как поисковик отнесётся к 302-му коду?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий