robots.txt и бан

R
На сайте с 31.01.2003
Offline
2
603

У меня вопрос. Есть сайт о фильмах, каждый филм имеет свою папку. В этой папке лежит вся информацыя о филме и плюс дублирующиеся страницы оптимизированые под определеные поисковики, все это дело закрыто с помощью robots.txt для определеных поисковиков. Тоисть эти дублирующиеся страницы даже не являются дорвеями так как они точно такие же как и остальные страницы только оптимизированые под определеные поисковики. Будет ли это спамом? Могут ли поисковики забанить если конкуренты "накапают" что я использую robots.txt?

Заранее благодарен за ответ.

http://desearch.net - All web search
I
На сайте с 28.10.2002
Offline
108
#1

Нет. Если бы Вы использовали клоакинг для этих целей, то тогда возможно и забанили бы. На то он и robot.txt чтобы управлять роботом.

А как это Вы сделали?

:)Типа так :

"Подробнее о фильме (оптимизировано под Яндекс)>>"

"Подробнее о фильме (оптимизировано под Апорт)>>"

"Подробнее о фильме (оптимизировано под Гугл)>>"

"Подробнее о фильме (оптимизировано под Рамблер)>>":D

и т.д.

R
На сайте с 31.01.2003
Offline
2
#2

да примерно так и сделано. А слышали вы что Пауки вполне хорошо маскируются под посетителей, и могут просканировать все дублирующиеся страницы. Так что robots.txt в данном случае не дает гарантий. Что вы по этому поводу?

I
На сайте с 28.10.2002
Offline
108
#3
А слышали вы что Пауки вполне хорошо маскируются под посетителей, и могут просканировать все дублирующиеся страницы. Так что robots.txt в данном случае не дает гарантий. Что вы по этому поводу?

Тогда вообще нет смысла их прятать. Пусть просканируют все и выберут наиболее релевантную. Если они различаются, то склеены скорее всего не будут.

Смысл такового мероприятия мне не очень понятен, т.к. информация "подробнее о фильме" по сочным запросам не прорвется, а для остальных есть общие правила оптимизации страниц. Тогда никто не накапает, подозрений будет поменьше, работы меньше и страница будет более эстетично выглядеть для пользователя.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий