Файл robots.txt

1 23
Bdiang
На сайте с 19.07.2006
Offline
102
#21
Alehandro710:
Желательно поиск и сортировки (например если у Вас интернет-магазин) дабы не было страниц с дублирующимся текстом но в ином порядке.
Беобахтер:
Угу. Здесь можно эффективно использовать Clean-param.

Но Clean-param только для Яндекса. Не логичнее ли запрещать результаты сортировок, фильтров с помощью <meta content="noindex, nofollow" name="robots"/>?

Bdiang добавил 29.05.2009 в 17:50

vadimon:
А на какие файлы(папки) нужно ставить запрет на индексацию?(В общем случае

У меня был случай когда в индекс вылезла служебная папка /stats/ и /root/ - пришлось закрывать :)

Б
На сайте с 30.06.2008
Offline
200
#22

Bdiang, разумеется логичнее. :) Но кругозор-то надо расширять.

Будь мудрее. Выгляди глупее.
Bdiang
На сайте с 19.07.2006
Offline
102
#23

Беобахтер, согласен. Собственно, именно по этой причине и я $ добавил :)

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий