нужно разобраться с robots.txt

K
На сайте с 22.09.2008
Offline
6
535

подскажите как правильно записать в robots.txt запрет на индексацию всех урлов типа:

moisait.com/razdel/1ХХХХ

где ХХХХ - любой из вариантов чисел (10001, 10002,... 19999)

и слышал ешё что как-то можно использовать оператор/функцию "матч".

Что это такое и как его юзать?

Это что-то типа символа (*), т.е. так:

moisait.com/razdel/1*

?

S
На сайте с 24.12.2007
Offline
85
#1

Почеркнуто.

K
На сайте с 31.01.2001
Offline
737
#2

User-agent: *

Disallow: /razdel/1

Kligo:
moisait.com/razdel/1*

Никаких адресов сайтов быть не должно!

Матч тоже ни к чему.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
S
На сайте с 24.12.2007
Offline
85
#3

Kost, Я с дуру ошибся:(

K
На сайте с 22.09.2008
Offline
6
#4
Kost:
User-agent: *
Disallow: /razdel/1

я так изначально и записал но потом засомневался. Будет ли такая запись срабатывать на запрет всех урлов типа:

/razdel/10

/razdel/111

/razdel/123432

и т.д.?

Kost:

Матч тоже ни к чему.

А что это вообще за функция/параметр? как она пишеться и для чего нужна?

Цахес
На сайте с 15.03.2007
Offline
205
#5
Kligo:
Будет ли такая запись срабатывать на запрет всех урлов типа:
/razdel/10
/razdel/111
/razdel/123432
и т.д.?

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

http://help.yandex.ru/webmaster/?id=996567#996572

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
K
На сайте с 22.09.2008
Offline
6
#6

Всем спасибо за ответы.

Иногда просто необходимо услышать подтверждение некоторых основ которые ты и так как-бы знал, но появились сомнения.

Остался вопрос по поводу "матч".

А что это вообще за функция/параметр? как она пишеться и для чего нужна?

K
На сайте с 31.01.2001
Offline
737
#7

Она нужна, если вам нужно запретить урлы, у которых общая часть не с самого начала, а в середине или в конце.

Kligo, вы читали это: http://help.yandex.ru/webmaster/?id=996567#996572 ?

Что вам там непонятно?

Если до сих пор не читали, то давайте я вам штраф оформлю :).

Почитайте еще Правила раздела.

K
На сайте с 22.09.2008
Offline
6
#8
Kost:
Она нужна, если вам нужно запретить урлы, у которых общая часть не с самого начала, а в середине или в конце.
Kligo, вы читали это: http://help.yandex.ru/webmaster/?id=996567#996572 ?
Что вам там непонятно?

Да, спасибо я это прочёл сразу же. Всё там понятно.

Всего лишь нужно было уточнить что спецсимволы "*" и "$" - и есть тем самым - "матч" оператором о котором мне говорили.

Все вопросы выяснил. Всем спасибо!

ЗЫ: ещё раз убеждаюсь что коллективный разум этого форума рулит! ☝

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий