Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

количество правил в robots.txt

CunninGFox
На сайте с 05.10.2007
Offline
167
CunninGFox
674

Приветствую.

Вопрос у меня наверное банальный, но тем не менее, лучше спрошу.

Есть большой сайт, на нем много страниц, и есть порядка 100-130 страниц, которые нужно запретить к индексации всеми роботами.

Не подавится ли яндекс от такого объема запретов?

Сразу скажу, что перенести эти страницы в одну папку и запретить - не получится, енто тырнет магазин...

страницы все разные, пример такой:

/c18pg10.html

/c18pg210.html

/c18pg30.html

/c18pg40.html

/c15pg20.html

/c15pg10.html

......

Ну и так далее, 140 штук.

Заранее благодарен за ответ.

Комплексное продвижение сайтов: увеличение количества клиентов для Вашей компании. От 8.000 рублей. Возможна работа по договору и оплата по безналу. Пишите: seo@sergeus.ru
[Удален]
#1

Грубой ошибки не будет, будет лучше конечно, если просто закрыть директорию, где все эти страницы располагаются. Если же так не получается, то можно оставить, робот не подавится:)

fine
На сайте с 01.12.2005
Offline
151
fine
#2
При написании robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Слишком большие robots.txt (более 256 Кб) считаются полностью разрешающими, то есть рассматриваются аналогично:

User-agent: Yandex
Disallow:

Источник: http://help.yandex.ru/webmaster/?id=996567

Так что не подавится, у Вас намного меньше допустимого размер выйдет. :)

S2
На сайте с 07.01.2008
Offline
611
Str256
#3

Можно использовать метатег роботс: http://robotstxt.org.ru/RobotsExclusion/meta

Можно запаролить эти страницы или вывести контент картинкой.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
Васисуалий
На сайте с 23.10.2008
Offline
215
Васисуалий
#4
CunninGFox:
Приветствую.

Вопрос у меня наверное банальный, но тем не менее, лучше спрошу.

Есть большой сайт, на нем много страниц, и есть порядка 100-130 страниц, которые нужно запретить к индексации всеми роботами.

Не подавится ли яндекс от такого объема запретов?

Сразу скажу, что перенести эти страницы в одну папку и запретить - не получится, енто тырнет магазин...

страницы все разные, пример такой:

/c18pg10.html
/c18pg210.html
/c18pg30.html
/c18pg40.html
/c15pg20.html
/c15pg10.html
......

Ну и так далее, 140 штук.

Заранее благодарен за ответ.

а у них схожего шаблона нет?

/c1*

например

CunninGFox
На сайте с 05.10.2007
Offline
167
CunninGFox
#5

Str256, интернет магазин не предполагает изменения шаблона каждой отдельно взятой страницы.

Str256:
Можно запаролить эти страницы или вывести контент картинкой.

эти страницы нужны пользователям, но не поисковикам...

Васисуалий:
а у них схожего шаблона нет?
/c1*
например

Примеры урлов, которые я привел - это постраничная навигация в рубрике интернет магазина.

Есть урл вида:

site.ru/c1_marka_tovara1.html

site.ru/c2_marka_tovara2.html

Эти странички нужно оставить. а постраничную навигацию в этом каталоге нужно убрать.

В общем, если бы можно было все решить при помощи программинга - уже бы сделал. Но остается только один вариант из нормально реализуемых - роботс:)

Меня просто интересовал размер роботса, которым не подавится яндекс:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий