Получилось вот что User-agent: *
Disallow: /
Allow: /$
Allow: /zarabotok-na-binarnih-opcyonah.html
Allow: /strategii/po-napravleniyu
Allow: /strategii/torgovie-signaly
Allow: /strategii/metod-martingeila
Allow: /strategii/protiv-trenda
Allow: /sitemap.xml
Host: binarnie-opciony.com
Sitemap: http://binarnie-opciony.com/sitemap.xml
Но для этого я сделаю sitemap чтобы ботам он показывал путь.Кстати для sitemap нужен отдельный allow?
User-agent: *
Правильно составлен robots.txt?
А как мне разрешить индексацию главной страницы?---------- Добавлено 19.01.2014 в 19:13 ----------Allow: /example.ru ???
Спасибо.ну как раз это мне и надо было уточнить как сделать правильно.А еще такой вопрос можно ли наоборот некоторые страницы разрешить а всё остальное запретить?например так
Allow: /page1
Allow: /page2
Я незнаю в каких мне папках искать название страниц,везде пишут про запрет индексации папок на сервере,но нельзя ли сделать проще?прописать http,например вот так?
Disallow: http://www.example/1page
Disallow: http://www.example/2page
Disallow: http://www.example/3page