Форум Практика оптимизации Общие вопросы оптимизации

Вопрос по Clean-Param в robots.txt

Grimich
На сайте с 08.04.2009
Offline
43
Grimich
3891

Есть ресурс, который переехал на новую структуру.

Хочу роботсом склеить все страницы, которые ведут на старые разделы, объявляю директиву:

Clean-param: refid&cPath&productID&categoryID&show_aux_page&gclid&manufacturers_id /index.php

Clean-param: refid&cPath&productID&categoryID&show_aux_page&gclid&manufacturers_id /

Но загвоздка в том что второе правило применится для всего сайта, то есть для всех урлов, которые внутри.

Вопрос - как правильно составить правило? Возможно как то поиграться с 301 редиректами надо, чтобы работало так, как задумано?

DO
На сайте с 20.01.2010
Offline
55
dustyo_O
#1

сlean-param не закрывает страницы от индексации, в привычном понимании этого слова.

дайте-ка лучше пример того, что надо закрыть, и пример того, что надо оставить (без указания доменного имени), или сайт в личку

платно проведу аудит сайта и исправлю все технические проблемы, которые могут мешать продвижению (/ru/forum/594052)
Яндекс.Вебмастер поможет найти дубли В Яндексе рассказали, как Настройка индексирования нового сайта
Grimich
На сайте с 08.04.2009
Offline
43
Grimich
#2

он склеивает страницы с незначащими параметрами. при переезде на другую структуру все ссылки были про**ны, поэтому сейчас ничего не остается как редиректом склеить старую структуру с мордой новой. А так же на морде склеить меж собой страницы с разными урлами, но одинаковым содержанием.

http://www.domain.ru/index.php?refid=*

http://www.domain.ru/index.php?cPath=*

http://www.domain.ru/index.php?productID=*

http://www.domain.ru/index.php?categoryID=*

http://www.domain.ru/index.php?show_aux_page=*

собсно есть мысли склеить это все в кучу, плюс потом склеить index.php с / - но это уже совсем сео, чтоб вес аккумулировать в одном месте

Вопрос о переезде сайта Как правильно склеить сайты Как правильно склеить несколько
iren K
На сайте с 28.12.2008
Offline
222
iren K
#3
Grimich:

собсно есть мысли склеить это все в кучу

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{HTTP_HOST} ^www.domain.ru

RewriteRule (.*) http://www.domain.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/

RewriteRule ^index\.html$ http://www.domain.ru/ [R=301,L]

- получите редирект всех страниц-дублей на http://www.domain.ru/

Grimich:
склеить index.php с / - но это уже совсем сео, чтоб вес аккумулировать в одном месте

RewriteRule ^(.+[^/])$ $1/ [QSA]

можете также запретить сессии 

php_flag session.use_only_cookies On

php_flag session.use_trans_sid Off
c уважением Iren
Grimich
На сайте с 08.04.2009
Offline
43
Grimich
#4

iren K, спасибо, но вопрос был именно по роботсу, по моему проще им слепить это все в кучу (я про конкретные параметры, передаваемые гет'ом)

апача на веб сервере совсем нет, а редиректы прописываем через тикет систему хостинг-компании.. :) Но все равно спасибо)

Grimich добавил 02.08.2011 в 11:09

всё, общение загнулось.. так ничего конкретного и не услышал ))

Вопрос вдогонку - есть ли смысл делать редирект 301 с http://site.ru/index.php на морду http://site.ru/ ?

Гэри Илш: 301 и Google запрещает перенаправлять санкции Мэтт Каттс рекомендует 301
B1
На сайте с 27.12.2009
Offline
23
bo1garia
#5

я думаю тебе поможет спецсимвол $ в роботсе, подробнее здесь http://help.yandex.ru/webmaster/?id=996567

PS склеивать имеет смысл и слеши поклеить тоже имеет смысл

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий