/robots.txt глазами Яндекса

1 234
FlyAway
На сайте с 01.06.2005
Offline
439
#21

yakodzun, что есть в конце $? =) у нас кружок программирования? 😂

User-agent: Yandex

Disallow: /index.php?productID=1

Disallow: /index.php?productID=11

Disallow: /index.php?productID=19

Host: vasyapupkin.ru

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
K. Ermakov
На сайте с 10.12.2004
Offline
328
#22
FlyAway:
User-agent: Yandex
Disallow: /index.php?productID=1
Disallow: /index.php?productID=11
Disallow: /index.php?productID=19
Host: vasyapupkin.ru

Я так понимаю, вы приводите пример того, как не надо писать?

Когда есть строка

Disallow: /index.php?productID=1,

излишним будет писать

Disallow: /index.php?productID=11

Disallow: /index.php?productID=19

Это во-первых. А во-вторых, верный ответ на первоначальный вопрос

combat:
Вопрос в следующем мне требуется чтобы страницы http://vasyapupkin.ru/index.php?productID=15 была разрешена для индексации

этим вариантом robots.txt не даётся.

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
M
На сайте с 11.05.2007
Offline
15
#23
FlyAway:
yakodzun, что есть в конце $? =) у нас кружок программирования? 😂

Читать регулярные выражения PCRE до просветления ...

^ --- декларирует начало данных (или линии, в многострочном режиме)
$ --- декларирует конец данных (или линии, в многострочном режиме)

т.е.
^/folder/$ будет соответствовать только /folder/
/folder/ будет соответствовать, и /folder/ и /folder/second.php и folder/noindex

подробнее http://ru2.php.net/manual/ru/reference.pcre.pattern.syntax.php
FlyAway
На сайте с 01.06.2005
Offline
439
#24
K. Ermakov:
Я так понимаю, вы приводите пример того, как не надо писать?
Когда есть строка
Disallow: /index.php?productID=1,
излишним будет писать
Disallow: /index.php?productID=11
Disallow: /index.php?productID=19
Это во-первых. А во-вторых, верный ответ на первоначальный вопрос

Я так понимаю что я привел пример правильности написания robots.txt, но не ответа на вопрос.

Disallow: /index.php?productID=1,
излишним будет писать
Disallow: /index.php?productID=11
Disallow: /index.php?productID=19

Это не суть важно, я сделал ctrl+c, ctrl+v для наглядности синтаксиса.

Во-первых и во-вторых, тыкайте своим друзьям, я же Вам не друг.

По поводу задачи, пусть человек напишет правило модреврайт и не парит нам мозг. Его задача решаема таким образом быстро и надежно.

miftahovn:
Читать регулярные выражения PCRE до просветления ...

^ --- декларирует начало данных (или линии, в многострочном режиме)
$ --- декларирует конец данных (или линии, в многострочном режиме)

т.е.
^/folder/$ будет соответствовать только /folder/
/folder/ будет соответствовать, и /folder/ и /folder/second.php и folder/noindex

подробнее http://ru2.php.net/manual/ru/referen...ern.syntax.php

Для полных тормозов, в robots.txt не работают регулярные выражения, как вы написали. У нас не урок программирования на php.

sosed
На сайте с 07.09.2006
Offline
34
#25
yakodzun:
как насет такого врианта?
User-agent: *
Disallow: /index.php?productID=1$
Disallow: /index.php?productID=11$
Disallow: /index.php?productID=19$
Host: vasyapupkin.ru

yakodzun, а как насет такого? :)

User-agent: *

Disallow: /product-1.htm

Disallow: /product-15.htm

Disallow: /product-19.htm

Host: vasyapupkin.ru

Хочу в дорвейщики! Не кóрысти ради, а токмо для ёкспиремента Обойди конкурента, займи своё место в выдаче — http://webmaster.yandex.ru/delspam.xml (http://ussr.trast.info)
[Удален]
#26

sosed, аналогично тупой вариант. Две абсолютно лишние инструкции (если убрать расширение).

FlyAway
На сайте с 01.06.2005
Offline
439
#27
sosed:
yakodzun, а как насет такого? :)
User-agent: *
Disallow: /product-1.htm
Disallow: /product-15.htm
Disallow: /product-19.htm
Host: vasyapupkin.ru

User-agent: Yandex

Disallow: /product-1

Host: vasyapupkin.ru

sosed
На сайте с 07.09.2006
Offline
34
#28

Miha Kuzmin (KMY), FlyAway, а прочитать задачу не судьба? :D

ЗЫ yakodzun, с продукт-15 у меня опечатка. продукт-11

[Удален]
#29

Не судьба, вероятно, понять, что у него нет чпу. А чтобы индексировать только заданные страницы, проще в движке поставить на остальных отдачу 404, чем переделывать навигацию.

sealord
На сайте с 03.10.2003
Offline
128
#30
combat:

User-agent: *
Disallow: /index.php?productID=1
Disallow: /index.php?productID=11
Disallow: /index.php?productID=19

Если у вас нет страниц ID=11x и ID=19x, то последние две строчки можно оставить.

С ID=1 можно, как вариант, перенести контент на какую-нить статичную страницу, и поставить на неё 301 редирект в .htaccess...

Ora et labora
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий