Вопрос по robots и CGI (CGI-BIN)

N2
На сайте с 26.08.2011
Offline
17
553

Очень часто на различных СЕО-ресурсах встречал совет о запрете этих папок в robots.txt. Однако, насколько мне известно, в норме, скрипты в этих папках запрещены на чтение в целях безопасности. Так как же роботы ПС могут проиндексировать их?

И попутно еще вопрос по этой теме. Сейчас многие говорят о скрытии ссылок в блоке навигационного меню. А что если сделать меню навигации через CGI? Пройдут ли пауки по ссылкам в этом случае?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий