robots.txt

S

11

shponder

13 июля 2011, 06:18

1015

Народ, а как исключить все страницы кроме главной?

K

737

Kost

13 июля 2011, 06:21

#1

User-agent: Yandex

Allow: /$

Disallow: /

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

S

11

shponder

13 июля 2011, 06:38

#2

благодарю )

15

ldvewka

13 июля 2011, 06:49

#3

а как разрешить индексирование только нескольких отдельных страниц?

370

kimberlit

13 июля 2011, 06:56

#4

Поисковые системы и мануалы сделаны для лохов.

S

319

semenov

13 июля 2011, 14:22

#5

ldvewka:
а как разрешить индексирование только нескольких отдельных страниц?

По аналогии

User-agent: Yandex

Allow: /page1$

Allow: /page2$

Disallow: /

198

victor222

13 июля 2011, 15:30

#6

Ребят тоже есть проблема, хочу решить пока здесь есть топик

Возможно ли закрыть такой каталок:

xxx.com/load/trustport/1-1-

xxx.com/load/trustport1/10-1-

то есть должны остаться ссылки

xxx.com/load/trustport/1

xxx.com/load/trustport1/10

Но что бы была индексация

xxx.com/load/1-1-0-16

xxx.com/load/12-1-0-16

SA

62

st_anger

13 июля 2011, 15:45

#7

Не забывайте указывать хост а вообще полезно поюзать мануал яндекса

166

Fruit

13 июля 2011, 15:52

#8

victor222:
Ребят тоже есть проблема, хочу решить пока здесь есть топик
Возможно ли закрыть такой каталок:

xxx.com/load/trustport/1-1-

Если в итоге, нужно запретить все страницы, где в конце дефис, то:

Disallow: /*-$

198

victor222

13 июля 2011, 15:52

#9

st_anger:
Не забывайте указывать хост а вообще полезно поюзать мануал яндекса

Это Вы мне написали?

SA

62

st_anger

13 июля 2011, 15:56

#10

Это для ТС

Вышел новый Яндекс Браузер с YandexGPT и YandexART

Зачем быть уникальным в мире, где все можно скопировать