robots.txt

12
siv1987
На сайте с 02.04.2009
Offline
427
#11

Да, можно.

A
На сайте с 18.01.2014
Offline
1
#12

А как мне разрешить индексацию главной страницы?

---------- Добавлено 19.01.2014 в 19:13 ----------

Allow: /example.ru ???

siv1987
На сайте с 02.04.2009
Offline
427
#13
artuch:
А как мне разрешить индексацию главной страницы?

Allow: /$

.

A
На сайте с 18.01.2014
Offline
1
#14

User-agent: *

Disallow: /

Allow: /$

Allow: /strategii/po-napravleniyu

Allow: /strategii/torgovie-signaly

Allow: /strategii/metod-martingeila

Allow: /strategii/protiv-trenda

Правильно составлен robots.txt?

siv1987
На сайте с 02.04.2009
Offline
427
#15
artuch:
Правильно составлен robots.txt?

Да, если вы хотите разрешить только эти страницы к индексации.

Не советую так делать, если ссылки на эти страницы находятся не на главной, или там, откуда бот не сможет к ним получить доступ. Хотя они и сканируют сайт, это сильно затрудняет им передвижения по сайту.

A
На сайте с 18.01.2014
Offline
1
#16

Но для этого я сделаю sitemap чтобы ботам он показывал путь.Кстати для sitemap нужен отдельный allow?

siv1987
На сайте с 02.04.2009
Offline
427
#17
artuch:
Кстати для sitemap нужен отдельный allow?

Теоретически да. Лишним не будет.

A
На сайте с 18.01.2014
Offline
1
#18

Получилось вот что User-agent: *

Disallow: /

Allow: /$

Allow: /zarabotok-na-binarnih-opcyonah.html

Allow: /strategii/po-napravleniyu

Allow: /strategii/torgovie-signaly

Allow: /strategii/metod-martingeila

Allow: /strategii/protiv-trenda

Allow: /sitemap.xml

Host: binarnie-opciony.com

Sitemap: http://binarnie-opciony.com/sitemap.xml

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий