Nike999

Cell:
Вопросы по файлу robots.txt часто волнуют пользователей форума. Для облегчения поиска нужной информации создаётся отдельный топик, где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt, отвечающего (если кто забыл) за ограничение доступа к содержимому сайта поисковым роботам.

Базовые знания можно почерпнуть у:

Википедии
Яндекса
Google - Инструменты для веб-мастеров
Сайта robotstxt.org.ru

P.S. Проверить свой robots.txt можно по ссылкам -
в Яндекс: http://webmaster.yandex.ru/robots.xml#results
в Google: https://www.google.com/webmasters/tools/robots-testing-tool?hl=ru

Если после прочтения информации по ссылкам выше у вас остались вопросы - задавайте их в этом топике.