Директивы Disallow и Allow

B
На сайте с 07.09.2012
Offline
31
1742

Добрый день!

Нарисовалась проблема на сайте, cms наштомповала кучу мусора. Искать каждую ненужную страницу долго, утомительно и нет гарантии, что найти получится всё. Пришел к выводу, что будет проще закрыть весь сайт от индексации в robots.txt директивой Disallow и открыть только нужные страницы там же директивой Allow. Но пришла в голову мысль, если внутренние страницы я знаю, как открыть Allow, то, как прописать главную - нет. Подскажите, как открыть директивой Allow только главную страницу?

Благодарю.

Психиатр
На сайте с 16.11.2010
Offline
360
#1

Лучше открыть лишнее, чем закрыть нужное.

kimberlit
На сайте с 13.03.2007
Offline
370
#2
beatleman:
Подскажите, как открыть директивой Allow только главную страницу?

Allow: /$

....

Только может фигня выйти.

B
На сайте с 07.09.2012
Offline
31
#3
kimberlit:
Allow: /$
....
Только может фигня выйти.

Этого и опасаюсь.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий