Вопрос по 301 редиректу внутри сайта

12
elliot
На сайте с 21.08.2007
Offline
33
917

Добрый день!

У меня есть сайт. Несколько десятков тысяч страниц проиндексировались.

После этого я изменил формат URL с /path/1/ на /path/1.html.

В .htaccess добавил правило для перенаправления ботов Яндекса на новый URL:

RewriteCond %{REQUEST_URI} (path) [NC]

RewriteRule (.*)?path/(\d+)/?$ $1path/$2.html [R=301,L]

По логам все нормально:

1) бот спрашивает страницу /path/1/;

2) ему отдается 301, 0 байт передано;

3) затем бот через секунду загружает страницу /path/1.html.

После смены формата URL прошло уже больше месяца. Эти страницы в индексе Яндекса были обновлены, а адрес выдается прежний /path/1/ вместо нового /path/1.html.

В Яндекс.Вебмастер эти страницы помечены с ошибками: HTTP-статус: Ресурс перемещён навсегда (301).

В мане по этой теме сказано:

"301 ошибка (Ресурс перемещён навсегда).

Документ уже не используется сервером, а ссылка перенаправляет на другую страницу (получен код 301 Moved Permanently).

Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление."

В реальности же Яндекс проиндексировал страницу по новому URL, а в списке проиндексированных страниц показывает старые URL (/path/1/).

Кто-нибудь сталкивался с этим? Есть какие идеи почему так происходит?

Linkpusher
На сайте с 28.12.2007
Offline
176
#1
elliot:
Кто-нибудь сталкивался с этим? Есть какие идеи почему так происходит?

я вот тут вчера отписался как раз на эту тему.

ждать, имхо, рано или поздно дождётесь.

Точу ножи. Буквально. Есть отзывы. Заказать заточку в МСК и Подольске можно через Телеграмм.
elliot
На сайте с 21.08.2007
Offline
33
#2

Спасибо за ссылку.

Я уж подумал, что матчасть недоучил. Значить будем ждать...

S2
На сайте с 07.01.2008
Offline
611
#3

301 - когда быстро - когда медленно. Поставьте доп ссылки внутри сайта на новые страницы. Например с карты сайта, с внутренних страниц из контента. А старые страницы в роботс.тхт запретите.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
unknown php developer
На сайте с 08.04.2009
Offline
9
#4

Sitemap скормите

Linkpusher
На сайте с 28.12.2007
Offline
176
#5
unknown php developer:
Sitemap скормите

не помогает :( ну или помогает слабозаметно, не уверен как корректней...

elliot
На сайте с 21.08.2007
Offline
33
#6
Str256:
301 - когда быстро - когда медленно. Поставьте доп ссылки внутри сайта на новые страницы. Например с карты сайта, с внутренних страниц из контента. А старые страницы в роботс.тхт запретите.

На новые страницы бот практически не ходит. Хотя хорошая внутренняя перелинковка.

Жалко, 40 тыс. страниц в индексе, если в robots.txt запретить - есть вероятность, что вообще все выпадет ;(

unknown php developer:
Sitemap скормите

Как формат URL поменял - сразу создал sitemap. В Яндекс.Вебмастер sitemap корректно обрабатывается, но бот по этим ссылкам не ходит.

S2
На сайте с 07.01.2008
Offline
611
#7
elliot:
если в robots.txt запретить - есть вероятность, что вообще все выпадет ;(

Ну так на части страниц так сперва попробуйте.

elliot:
На новые страницы бот практически не ходит.

Отдельную карту сайта сделайте для новых страниц и киньте на карту ссылку с морды. Счётчик лайвинтернет стоит? Поставьте яндекс-бар и походите по этим страницам.

elliot
На сайте с 21.08.2007
Offline
33
#8

Str256, счётчик стоит.

Попробую в robots.txt добавить первые 100 страниц.

На морде как раз выводяться все новые статьи и пейджер снижу. Боюсь, карта сайта здесь не поможет.

А на счет яндекс-бара палиться не хочу. С опаской к таким вещам отношусь: кто его знает какие он данные о моих сателитах соберет.

Как кто-то на форуме писал: "ссылки, ссылки и ссылки на ссылки" :)

Сейчас попробую на новые внутренние страницы ссылок поставить немного.

farlow
На сайте с 07.05.2008
Offline
102
#9

если на старые адреса есть ссылки, то ошибка будет висеть долго

если больше нигде нет упоминаний старых адресов, то месяца через 2 все должно быть чисто

Ищу дизайнера, вебмастера
IS
На сайте с 14.04.2009
Offline
17
#10

Белый сайт на 20 страниц 3 раза по желанию хозяина подвергался тотальной реорганизации. Чтобы не показывать посетителям 404 делал 301 редирект на новые страницы с той же тематикой. В итоге в Я 67 страниц всех 3 версий. Такое ощущение, что Я 301 редирект вообще не понимает в плане помещения их в индекс. Страницы из первой версии сайта висят в индексе уже более полугода. Поскольку страницы всех версий по сути переписывались заново или подвергались ревизии имею 67 тематических страниц в индексе, по которым посетители с Я попадают куда надо 301 редиректом. В принципе - неплохо, но как-то неправильно. Google в течение месяца корректно производит перетряску страниц, удаляя из выдачи старые и включая новые. Кстати, он 301 редирект за ошибку не считает, потому как на самом деле это есть показатель, что сайтом занимаются, имхо.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий