Robots для самописных сайтов

technoseal
На сайте с 12.07.2014
Offline
28
1530

Приветствую всех! Подскажите пожалуйста, как правильно составить файл robots.txt для самописных сайтов/сервисов? Как понять какие системные файлы и папки закрывать?

SS
На сайте с 28.10.2014
Offline
27
#1

Ну вы должны сами понимать какие страницы вы хотите отправить в идекс, а какие нет и какие роботу совсем необязательно индексировать. Те страницы, которые вы не будете раскручивать и на которых дабл контет, нужно закрывать роботсом. Вообщем, тяжело так рассказывать, напишите какой именно сайт и тогда я смогу Вам помочь.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий