artuch

Рейтинг
1
Регистрация
18.01.2014

Получилось вот что User-agent: *

Disallow: /

Allow: /$

Allow: /zarabotok-na-binarnih-opcyonah.html

Allow: /strategii/po-napravleniyu

Allow: /strategii/torgovie-signaly

Allow: /strategii/metod-martingeila

Allow: /strategii/protiv-trenda

Allow: /sitemap.xml

Host: binarnie-opciony.com

Sitemap: http://binarnie-opciony.com/sitemap.xml

Но для этого я сделаю sitemap чтобы ботам он показывал путь.Кстати для sitemap нужен отдельный allow?

User-agent: *

Disallow: /

Allow: /$

Allow: /strategii/po-napravleniyu

Allow: /strategii/torgovie-signaly

Allow: /strategii/metod-martingeila

Allow: /strategii/protiv-trenda

Правильно составлен robots.txt?

А как мне разрешить индексацию главной страницы?

---------- Добавлено 19.01.2014 в 19:13 ----------

Allow: /example.ru ???

siv1987:
Ну так пишите так, только без htt://www.example.ru, и в итоге получится так Disallow: /page1 Что здесь сложного?

Спасибо.ну как раз это мне и надо было уточнить как сделать правильно.А еще такой вопрос можно ли наоборот некоторые страницы разрешить а всё остальное запретить?например так

User-agent: *

Disallow: /

Allow: /page1

Allow: /page2

Я незнаю в каких мне папках искать название страниц,везде пишут про запрет индексации папок на сервере,но нельзя ли сделать проще?прописать http,например вот так?

Disallow: http://www.example/1page

Disallow: http://www.example/2page

Disallow: http://www.example/3page