Помогите викинуть из индекса часть урлов (robots.txt)

12
Lord-Freeman
На сайте с 27.12.2006
Offline
140
857

Здравствуйте!

У сайта есть адреса типа:

www.site.ru/index.php?search_by=2&s_chapter=razdel&page=search&word=TITLE

Это некий примитивный поиск, где конечная фраза (в данном случаи TITLE) - меняется в зависимости от запроса. Так вышло, что некоторые такие урлы попали в индекс. Хочу их исключить.

Вопрос в том, как это сделать... У сайта почти все урлы строятся как:

www.site.ru/index.php?....

Нужно чтобы робот не индексировал все ардеса типа:

www.site.ru/index.php?search_by...

Как это сделать? Есть идеи?

SMM
На сайте с 02.07.2006
Offline
98
SMM
#1

Такое решение будет оптимальным

Disallow: /index.php?search_by=*

Размещение статей (/ru/forum/728008) - 30 wmz (1300\5 ЯК Дмоз. 2006 год. Посещ.~60000. MR-100. Яндекс. Гугл новости.). Траст. Написание+6 wmz.
S
На сайте с 28.10.2005
Offline
319
#2

Disallow: /index.php?search_by=

LeonCrab
На сайте с 30.01.2007
Offline
189
#3

Добавлю...

Зайдите в панель Веб-мастера, и после того, как добавите в файл приведенные выше строчки проверьте файл роботс.тхт.... в общем там на месте разберетесь... Дабы случайно не запретить к индексации нужные страницы.

Помощь в создании сайтов на MODX, Laravel, Slim. В личку. Хостинг, которому я доверяю (https://beget.com/p181956).
Lord-Freeman
На сайте с 27.12.2006
Offline
140
#4

Большое спасибо! :)

Ещё вот такой вопрнос... так получилось, что главную странизу можно вызвать тремя адресами:

www.site.ru

www.site.ru/index.php

www.site.ru/index.php?page=main

Стоит ли закрывать от индексации какие-то из этих урлов? Ведь поидее получается дублирование контента главной страницы...

Б
На сайте с 30.06.2008
Offline
200
#5

Lord-Freeman, сами склеятся, или редирект сделайте. Только если нет ссылок на разные адреса морды, то робот о таких вариантах сам всё равно не догадается. :)

Будь мудрее. Выгляди глупее.
Lord-Freeman
На сайте с 27.12.2006
Offline
140
#6

Беобахтер, к сожалению догадался :) Была ссылка, но сейчас убил. Редиректом - 301 ?

Б
На сайте с 30.06.2008
Offline
200
#7

Lord-Freeman, да. Для Яндекса лучше сначала дождаться склейки. Есть мнение, что иначе ссылки на редирекченные урлы не будут работать. :)

organic
На сайте с 07.11.2004
Offline
141
#8
Беобахтер:
или редирект сделайте.

С большим интересом посмотрю на редирект с site.ru/index.php на site.ru (при условии что это одна и таже страница). Прежде чем советовать ахинею, Вы сами попробуйте свои советы.

2 Lord-Freeman, на самом деле это засада

Yeah, well, I'm gonna go build my own theme park, with blackjack and hookers. In fact, forget the park!
Lord-Freeman
На сайте с 27.12.2006
Offline
140
#9

organic, третий урл та же самая страница. Все три урла выводятся по одному принципу. Уже как-то пробовал редирект -сайту стало плохо :)

P.S. Но ведь любую засаду можно обойти?

Bdiang
На сайте с 19.07.2006
Offline
102
#10
organic:
С большим интересом посмотрю на редирект с site.ru/index.php на site.ru (при условии что это одна и таже страница). Прежде чем советовать ахинею, Вы сами попробуйте свои советы.

Страницы с www и без тоже одинаковые. Или, например, страница переехала на новый адрес. Почему Вы считаете, что редирект - это "засада" :)

По сабжу:

Если все ссылки на дубли главной убиты, то для этих дублей я бы сделал мета теги, запрещающие индексацию:

<meta content="noindex, nofollow" name="robots"/>
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий