Что нужно закрывать от индексирования?

12
Uber
На сайте с 02.04.2007
Offline
6
2423

Привет, глубокоуважаемые форумчане!

Предлагаю поразмышлять: Какую информацию на сайте, как ВЫ считаете, стоит закрывать от индексирования?

Т.е. давайте попробуем общими усилиями составить перечень всего, что стоит скрывать от индексации...

Если это, конечно, вам интересно...

Начну:

1. Папки не содержащие файлы сайта (базы, фотки, тексты не по теме... и т.п.), которые вы не хотите показывать всем.

Закрывается так: в файле Robots.txt добавляется следующее:

Disallow: /name directory/

2. Страницы для вывода на печать.

Желательно собрать все страницы в одну папку и запретить доступ к папке (см. выше)

Для одной страницы в корневом:

Disallow: /print.php

3. Страницы поиска.

По принципу п.2 (указывается имя страницы, осуществляющей поиск)

4. Страницы сайта не для общего пользования (с закрытой информацией, например, на продажу).

То же

5. Часть кода страницы

Путём заключения кода в теги: <noindex> закрываемый код </noindex>

Что ещё необходимо или желательно закрыть для индексации?

Контент - эксклюзивный и дорогой на заказ.
T.R.O.N
На сайте с 18.05.2004
Offline
314
#1
Uber:
Папки не содержащие файлы сайта (базы, фотки, тексты не по теме... и т.п.), которые вы не хотите показывать всем.

По хорошему, этого не должно быть на сайте вовсе. Для этого есть файлообменники.

Uber:
2. Страницы для вывода на печать.

Не закрываю. Если они сделаны грамотно, то принесут пользу по НЧ.

Uber:
3. Страницы поиска.

Верно, лучше закрыть, но именно страницу с результатами поиска.

Uber:
Страницы сайта не для общего пользования

Это закрывается прежде всего либо шифрованием, либо примитивным логином/паролем.

А Если сайт серьезный, то подобное убирается в особую папку, для которого отключается анонимный вход.

5. Если сайт интерактивный (отзывы, гостевые и т.д.), стоит постараться закрыть от индексации ссылки с таких разделов. Лучше использовать JS.

6. Закрыть от ботов, но лучше исправить, страницы, хождение по которым с выключенным JS и куками приводит к непредсказуемым последсвиям.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
DmitryShustov
На сайте с 27.11.2004
Offline
259
#2

7. Регистрацию, авторизацию

dRiveR.dLL
На сайте с 25.09.2006
Offline
79
#3

Я закрыл от индексации раздел "Полезные ссылки", т.к. он исключительно для людей и не вижу причины лишний раз провоцировать ПС забанить себя :)

[Удален]
#4

В noindex стоит закрывать, например, т.н. "мусор" на страницах, где мало основного контента т.е. меню навигации, копирайты и прочее т.е. все, кроме основного контента.

В противном случае тот же Яндекс может посчитать страницы слишком похожими и выкинуть дубли из индекса.

rpex
На сайте с 19.06.2007
Offline
112
#5

Советую закрыть от индексации ворованный контент (если таковой имеется) - рискуете попасть под "ты последний".

Весна, Чо.
AVV
На сайте с 31.07.2006
Offline
84
AVV
#6

1. Не понял, что такое папки не содержащие файлы сайта.

2. Нет смысла вообще делать такие страницы, а вывод на печать лучше осуществлять через

@media print {}

3. Закрывать однозначно

4. Паролить, как уже сказал T.R.O.N

5. Согласен с XTR: в противном случае тот же Яндекс может посчитать страницы слишком похожими и выкинуть дубли из индекса.

M-Borman
На сайте с 12.05.2007
Offline
83
#7

На данный момент яндекс полностью закрыл себя от индексирования.:)

смотрел по http://www.dinews.ru/seo/

M-Borman
На сайте с 12.05.2007
Offline
83
#8

Ой, ошибся!

это без www он закрыт.

Извените.

S
На сайте с 02.08.2007
Offline
57
#9

dRiveR.dLL, вот на счет сокрытия каталога ссылок и его содержимого есть такое наблюдение: подозреваю, что каким-то образом яндекс все-таки индексирует то, что мы запрещаем noindex-ами. Недавно на одном из сайтов, на котором я купил ссылки было вот что: сайт отфильтровался - полный вылет из базы, кроме каталога ссылок, закрытого тегами noindex - закрыто было именно содержание каталога(нетематических ссылок там было не более 50 штук, рубрикатор имелся, разумеется) повода вылетать у сайта не было, на главной стр. только 3-и ссылки строго в тему сайта.

После того, как каталог ссылок, повторюсь, он был закрыт от индексации, удалили физически - сайт восстановился через 10 дней. В яндекс писем не писали, так что рука модератора тут 100% не при чем. Может конечно быть еще 10 причин объясняющих такую аномалию, но вот одна из версий, возможно, не самая вероятная, но вот получается автоматическая фильтровка по тому, что стоит в noindex.

[Удален]
#10

Straus, мы не в стране волшебников и чудес тут не бывает. Есть логи сервера, которые однозначно говорят о том, что Яндекс не индексирует то, что ему запрещено.

Другое дело, что если каталог ссылок - это линкообменник или линкатор, то за такое будет ручная пессимизация по стуку (об этом говорил Роман Козлов (BigBrother) из Яндекса и А.Садовский.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий