Что рекомендуется закрывать через robots.txt

H
На сайте с 09.02.2005
Offline
4
522

Уважаемые Гуру!

Необходимость наличия robots.txt осознана.

Запрет индексации результатов поиска по сайту, установленной статистики, каталогов ссылок и т.д. тоже понятен.

Объясните для чего многие сайты запрещают через robots.txt индексацию каталога товаров, прайсов и т.д.

Чтобы поисковики не посчитали что-то за спам ?

AN
На сайте с 05.06.2004
Offline
243
#1
Объясните для чего многие сайты запрещают через robots.txt индексацию каталога товаров, прайсов и т.д.

Чтобы робот не увяз в огромном количестве малозначимых страниц.

Запрет индексации ... каталогов ссылок ... тоже понятен.

А вот тут - ай-я-яй.

Размещу ваши баннеры на посещаемых сайтах. Места еще есть! Возможен безнал. (/ru/forum/324945) Нужны копирайтеры/рерайтеры - медики. Пишите в личку. (/ru/forum/676932)
K. Ermakov
На сайте с 10.12.2004
Offline
328
#2

headlong,

Необходимость наличия robots.txt осознана.
Запрет индексации ... каталогов ссылок и т.д. тоже понятен.

Боюсь, что надо ещё раз осознать, зачем robots.txt нужен.

По крайней мере, для честной раскрутки.

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
H
На сайте с 09.02.2005
Offline
4
#3

K. Ermakov,

Боюсь, что надо ещё раз осознать, зачем robots.txt нужен. По крайней мере, для честной раскрутки.

Про каталоги ссылок имелось в виду - "понятно зачем это делают другие". Если бы не стремился к честной раскрутке - не задавал бы вопросов - поверьте :)

AnNik,

Чтобы робот не увяз в огромном количестве малозначимых страниц.

Да , но страница детальной информации о товаре/услуге - в принципе немаловажна. Т.е. например набрав в яндексе модель чего то - я вижу множество "карточек товара" . Другой вопрос насколько каталог информативен.

Но для чего все таки многие закрывают индексацию каталога вообще ?

K. Ermakov
На сайте с 10.12.2004
Offline
328
#4

headlong,

Если бы не стремился к честной раскрутке - не задавал бы вопросов - поверьте

ОК.

:)

У меня в последнее время участились встречи с нечестными обменщиками. Жаль...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий