Поздравляю! :)
Тут все подробно описано
P.S и не robot.txt, а robots.txt
Поисковики постоянно индексируют сайты. Когда бот-индексатор зайдет на ваш сайт, знает только он сам:)
.htaccess может препятствует?
WaRNeT, видео вставлять нужно так:
Например:
А как вы думаете, за такие деньги?
Чтобы репутация показывалась в виде цифр:
Найти:
Заменить на:
А что гугл вы в счет не берете?
С русскими кеями сайт в большинстве каталогов не пройдет модерацию.
Рекомендую на английском.
Вот готовое решение есть, с капчей. Можно доработать под себя.
Начнем с того, что внутренние страницы принимают очень маленький % каталогов.
Анализируйте логи доступа. Или юзайте Awstats.