Что нужно закрывать от индексации

12
C
На сайте с 24.03.2008
Offline
26
1185

Коллеги! Посоветуйте пожалуйста что нужно закрывать от индексации и зачем?

Каков принцип при выборе того, что нужно закрывать?


Традиционно я использую:

1. редирект на хост с www

2. В файле robot.txt закрываю:

  • форму обратной связи,
  • контакты
  • ссылки на админку и технические разделы
  • ссылка на облако тэгов
  • поиск
  • аккаунты пользователей

3. Тегом <noindex> я закрываю:

  • всевозможную рекламу(кроме sape и т.п.), счётчики, информеры, виджеты и тд.
  • календарь
  • тэги

Давайте дополним список и обоснуем применение каждого действия.

vandamme
На сайте с 30.11.2008
Offline
675
#1

У вас DLE?

C
На сайте с 24.03.2008
Offline
26
#2
vandamme:
У вас DLE?

Не только. Я просто решил мыслить на примере простейшего сайта-блога.

На DLE, Джумле, WP, Ucoz...

wlad2
На сайте с 17.07.2008
Offline
153
#3

нужно еще ноиндексом закрывать поисковые формы сайта,

а кстати понту закрывать от индексации страницу админки ?

ведь на нее нет прямой ссылки с cms.. а если есть то понятно..

Buble-Gum
На сайте с 03.07.2008
Offline
53
#4

Хым.. по-моему ТС сказал все верно, что стоит закрыть - закрыл, а что нет смысла - не сказано. +1 to ТС

подпись... была...
H
На сайте с 11.09.2008
Offline
26
#5
ссылки на админку и технические разделы

ога, вы еще и пароль в роботс тхт напишите

админка должна быть в папке ofh4hvc495vc в файле inc4y58co5yo5.php

и в роботс тхт про это ни слова ))

Ceterum censeo Carthaginem esse delendam
C
На сайте с 24.03.2008
Offline
26
#6

Я внимательно осматриваю сайты на которых бываю и например видел как люди закрывали от индексации перелистывание страниц (архив), или например ссылки на профили пользователей, дату размещения комментария и прочую информацию в комментариях.

Поэтому мне кажется что мо список не полон.

G
На сайте с 15.11.2008
Offline
5
#7
coolanatoliy:
Я внимательно осматриваю сайты на которых бываю и например видел как люди закрывали от индексации перелистывание страниц (архив), или например ссылки на профили пользователей, дату размещения комментария и прочую информацию в комментариях.
Поэтому мне кажется что мо список не полон.

лол а смысл? зачем закрывать дату комментов, профили юзеров? по моему чем больше страниц в индексе тем лучше.. а куча инфы в роботс или на каждой странице туева хуча ноиндексов непонятно зачем, разве от этого будет какой то плюс? лишняя работа только

//вот архив да, смысл есть, там все равно инфа в дубле..

остальное - не вижу смысла. или обоснуйте плиз необходимость этого

A
На сайте с 15.02.2008
Offline
52
#8

если есть возможность юзерам оставить комментарии с ссылкой или написать в профиле ссылку, то во избежания большого количества спама - лучше это закрыть (или в ноиндекс, или вообще).

P
На сайте с 15.01.2009
Offline
35
#9

В WP с помощью сео-плагинов рекомендуют закрывать ссылки на категории, архивы, теги, считается, что это дублированный контент. Это для СДЛ сайтов. Как я понимаю, для не-СДЛ ничего не закрывают для индексации, чтобы увеличить кол-во страниц для продажи на них ссылок.

Вот только долго ли живут в индексе такие страницы?

C
На сайте с 24.03.2008
Offline
26
#10
Grag:

остальное - не вижу смысла. или обоснуйте плиз необходимость этого

Я рассуждаю так:

Нужно убрать всё лишнее чтоб поисковик впитывал только материалы нужные для индексации, остальное с точки зрения привлечения поискового трафика не ликвидно и поэтому лучше дать роботу самое важное, тем самым облегчить ему работу.

Хотя, как я понимаю те люди, которые продают ссылки стараются показать роботу как можно больше страниц и открывают для индекса намного больше.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий