Как правильно написать robots.txt? Что запрещать?

A1
На сайте с 15.07.2013
Offline
20
628

Всем привет!

Есть сайт, в котором существует поиск по автомобилям: по маркам (мерседес, ауди, фольксваген) и типу авто (внедорожники, седаны, хэтчбеки, минивэны). Марки и типы авто являются ключевиками. На сайте есть поиск + навигация сделанная ч-з чпу-шные ссылки. По идее, нужно избавляться от дублей - запрещать индексировать страницы с (возможно) одинаковыми результатами (мерседесы могут быть седанами, => выдача при разных запросах может совпадать).

1. Нужно ли запрещать индексировать навигационные страницы с ссылками на поисковую выдачу (которые являются ключевиками) - мерседесы, ауди, сиданы, хэтчбеки и т.д.

2. Нужно ли запрещать индексировать результаты поиска (при различных запросах) - страницы со списком авто, кратким описанием, фото, ссылками на подробные страницы данных авто, отфильтрованные по опр. признаку (седаны, хэтчбеки, марки авто)?

3. Нужно ли запрещать индексировать результаты поиска как в пункте 2 (не 1-ю а последующие страницы - 2, 3, 4, 5, т.д.)

4. В результатах поиска идут ссылки, фото и краткое описание авто. При переходе по ссылке открывается страница с подробным описанием авто. Краткое описание совпадает с подробным, только обрезано. Является ли дублированием краткие описания страниц в поисковой выдачи?

YR
На сайте с 08.02.2013
Offline
9
#1

Навигационные страницы закрывать глупо (как правило), но всегда могут быть исключения, так как вашего сайта не вижу, могу предположить, что не стоит... А поиск смело закрывайте весь, зачем вам индекс дублей? Да и выиграть от незакрытого поиска вы точно ничего не сможете. Ну и конечно закрывайте все динамические страницы от фильтров и т.д.

A1
На сайте с 15.07.2013
Offline
20
#2

Спасибо! В навигационных страницах в ссылках на поисковую выдачу нужно прописать rel=nofollow?

Страницы с подробным описанием автомобилей поисковой робот должен искать через карту сайта (не через поиск)?

И еще вопрос, несколько основных навигационных ссылок (марки авто, ключевики) есть на главной странице + ссылка "показать все марки", ведущая на навигационную страницу со всеми марками. Повторение навигационных ссылок является дублированием? Как с этим бороться?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий