Robots.txt для google

12 3
IM
На сайте с 01.10.2004
Offline
87
1360

Подскажите, как закрыть папку в папке, т.е сама папка (eng) должна индексироваться, а некоторые папки нет. Что-то типа такого?

User-agent: *

Allow: /

Disallow: /eng/papka/

Disallow: /eng/papka1/

W
На сайте с 27.05.2010
Offline
14
#1

Allow: /

не нужен тут.

остальное да.

IM
На сайте с 01.10.2004
Offline
87
#2
witos:
Allow: /
не нужен тут.
остальное да.

а то, что не в папке eng тоже будет индексироваться?

K
На сайте с 31.01.2001
Offline
737
#3

После Allow: /

можно уже ничего не писать, уже все разрешено. Убирайте нафиг.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
IM
На сайте с 01.10.2004
Offline
87
#4

неужели никто не знает?

K
На сайте с 31.01.2001
Offline
737
#5
InterMaster:
а то, что не в папке eng тоже будет индексироваться?

Напишите четко все типы URL, которые вас интересуют. Какие надо индексировать, а какие - нет.

Пока нет формулировки задачи - не будет и никаких ответов.

Или берите мануал и штудируйте сами. Там нет ничего сложного.

IM
На сайте с 01.10.2004
Offline
87
#6
Kost:
Напишите четко все типы URL, которые вас интересуют. Какие надо индексировать, а какие - нет.
Пока нет формулировки задачи - не будет и никаких ответов.

Или берите мануал и штудируйте сами. Там нет ничего сложного.

нужно индексировать

www.domain.ru

www.domain.ru/eng/

не нужно индексировать:

www.domain.ru/eng/papka1/

www.domain.ru/eng/papka/

Robots.txt такой получается? Все верно?

User-agent: *

Allow: /

Disallow: /eng/papka/

Disallow: /eng/papka1/

K
На сайте с 31.01.2001
Offline
737
#7

Блин, вы вообще читаете, что вам пишут?

Уберите Allow нафиг, у вас вообще ничего не запрещено.

InterMaster:
а то, что не в папке eng тоже будет индексироваться?

А этих примеров урлов вы не потрудились привести.

IM
На сайте с 01.10.2004
Offline
87
#8
Kost:
Блин, вы вообще читаете, что вам пишут?
Уберите Allow нафиг, у вас вообще ничего не запрещено.

А этих примеров урлов вы не потрудились привести.

А это что?

нужно индексировать:

www.domain.ru

www.domain.ru/eng/

Просто на сайте две версии языка - русская и английская, в английской версии не нужно индексировать две папки, а все остальные нужно, а в русской версии все нужно индексировать.

K
На сайте с 31.01.2001
Offline
737
#9

Уберите Allow и все. Точка. Больше ничего не нужно.

W
На сайте с 27.05.2010
Offline
14
#10
InterMaster:
а то, что не в папке eng тоже будет индексироваться?

User-agent: *

Disallow: /eng/papka/

Disallow: /eng/papka1/

для вашей задачи роботс будет выглядеть так.

Allow не нужен тут. потому как в вашем варианте вы разрешаете индексировать все и остальные строки получаются абсолютно бесполезными.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий