Зеркальщик Яндекса + администрация фрихостов = война?

12
ooprizrakoo
На сайте с 28.11.2006
Offline
67
1217

Доброго всем.

Расскажу небольшую историю, может быть кому-то она окажется небесполезной.

В середине 2001 года я сделал сайт на бесплатном хостинге by.ru - сайт получился узкотематическим, но довольно популярным (скажу заранее, это был сайт vonnegut.by.ru)

Время шло, хостинг by.ru всё глючил и глючил, пока весной 2006-го года я не зарегистрировал домен vonnegut.ru, и не переместил сайт на платный хостинг.

Как и полагается, сделал правильный robots.txt, где указал зеркало, и зимой 2007-го года сайты были окончательно склеены. Надо сказать, тут ещё помогло письмо Платону Щукину :)

Но в сентябрьский апдейт тИЦа произошла расклейка зеркал: тиц сайта vonnegut.by.ru стал равным 100, а тиц сайта vonnegut.ru стал 240.

Подождав 2 месяца, и увидев, что ничего не происходит (сайты в выдаче считаются разными), я написал Платону письмо, и получил вот какой ответ:

Здравствуйте, Алексей!

Зеркала расклеились, потому что отдавали разный контент в момент захода
робота-зеркальщика. Сейчас зеркальщик не может склеить зеркала, потому что с
некоторого момента домены третьего уровня by.ru отдают роботу ошибку 403.
Попробуйте обратиться за разъяснением ситуации к хостинг-провайдеру by.ru.

--
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
http://help.yandex.ru/


Алексей написал(а):

> Здравствуйте.
> Я вебмастер сайта о писателе Курте Воннегуте -
> vonnegut.ru и vonnegut.by.ru (это старое зеркало сайта)
>
> Год назад по совету Платона Щукина эти сайты были "склеены" - то есть я
> написал в robots.txt правильную директиву HOST, изменил ссылки с сайта-зеркала
> на основной сайт.
>
> Однако во время обновления тИЦ в сентябре эти два сайта вновь стали считаться
> "разными" - и Индекс Цитирования вместо 340 разделился на 240 и 100. Позиции
> сайта в каталоге резко упали.
>
> Прошу Вас объяснить (по возможности) роботу-зеркальщику, что сайт
> "vonnegut.by.ru" на самом деле является зеркалом основного сайта -
> vonnegut.ru
>
> Буду благодарен за любые позитивные действия, которые помогут решить проблему.

У меня есть собственно две мысли, почему такое произошло.

1) Администрация хостинга by.ru экономит трафик/нагрузку, и боится прихода Гигантских Боевых Роботов-Зеркальщиков Яндекса, которые перегрузят сервер.

2) Администрация хостинга by.ru таким вот образом препятствует уходу пользователей на другие хостинг-площадки - вынуждая их либо начинать на новом месте проект "с нуля", либо оставаться на старом месте.

Вторая мысль, конечно, немного параноидальна, но все-таки - кто что думает по этому поводу, и какие на ваш взгляд тут возможны пути решения проблемы? (администраторам by.ru я разумеется напишу, но хочется сначала умных людей послушать)

Сайт «Курт Воннегут по-русски» (http://vonnegut.ru)
AboutSEO
На сайте с 18.01.2007
Offline
154
#1

у них может быть апач настроен на лимит одновременных обращений с одного ИП, вот и блочат ботов когда они массово приходят.

Xover
На сайте с 22.05.2006
Offline
101
#2

Может убить сайт в by.ru или поставить 301 редирект, чтобы посетителей из закладок не терять?

Покупаю внутренние PR4 на sape.ru (http://www.sape.ru/r.f3cfb23480.php)
WwWork
На сайте с 07.02.2006
Offline
150
#3
Xover:
Может убить сайт в by.ru или поставить 301 редирект

Мне кажется это будет лучший вар.

А хостинг провайдер by.ru - не думаю что они хотят чтобы вы с нуля начинали что либо.

Также наверняка они не хотят терять хостящихся.

Lesni4ok
На сайте с 25.08.2007
Offline
22
#4

Какая философия: хотят - не хотят)

Как получится, вот что самое интересное...))

ooprizrakoo
На сайте с 28.11.2006
Offline
67
#5

Спасибо всем за ответы.

Также наверняка они не хотят терять хостящихся.

Хостинг by.ru очень не любит клиентов - и выполняет свои функции скорее по-инерции, с неудовольствием тяня взятые когда-то обязательства. За более чем пять лет на хостинге всего насмотрелся - и как они годами скрывали обратнуюсь связь, и годами не исправляли ошибки в структуре основного сайта, и днями-неделями держали сайты в дауне, и беспричинно удаляли форумы, которые существовали при сайтах.. К слову, как раз после такого случая, когда исчез форум с записями посетителей более чем за 5 лет - я и решил, что с меня хватит.

Я действительно решил, что надо делат 301-й редирект - но тут проблема.

Когда я написал в .htaccess

Options +Indexes
Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) http://vonnegut.ru/$1 [R=301,L]

и закачал это на сервер - ничего не происходит при заходе на сайт. Так и надо? :)

Пхп/перла на сайте нету.

Может убить сайт в by.ru

А при убийстве сайта ничего по-идее не получится - то бишь склейка ссылок основного домена и фрихоста не произойдет? Поэтому немножко в прострации нахожусь, что делать.

П.с. Техподдержка в бай.ру недружелюбная. Ответа на письмо можно ждать неделями, пока не надоест :) Такая вот засада.

AboutSEO
На сайте с 18.01.2007
Offline
154
#6

не все фрихосты дают доступ к htaccess,

а при обрасчении к ним, могут запросто прибить сайт так как он какбы тебе не нужен и реклама их (если она есть) показываться не будет при редиректе.

R
На сайте с 09.11.2006
Offline
79
#7

У меня такое случилось с сайтом, который просто доступен по двум доменам.

А расклеился аж на 4 - с www и без www.

organic
На сайте с 07.11.2004
Offline
141
#8
Я действительно решил, что надо делат 301-й редирект - но тут проблема.

Почему бы просто не написать

Redirect 301 / http://vonnegut.ru/
Yeah, well, I'm gonna go build my own theme park, with blackjack and hookers. In fact, forget the park!
SA
На сайте с 12.02.2006
Offline
142
#9

хтаксес действительно не работает на многих фрихостах, попробуйте воспользоваться средствами html

<META http-equiv="refresh" content="1; url=http://vonnegut.ru/">

ooprizrakoo
На сайте с 28.11.2006
Offline
67
#10
organic:
Почему бы просто не написать Redirect 301 / http://vonnegut.ru/

А как это сделать, если нету доступа к редактированию .htaccess ? :)

seo-alex, по вашему примеру можно сделать обычный редирект, да. Но поймет ли робот яндекса, что это зеркало, и склеит ли сайты? Ведь получается, что ОБЫЧНЫЙ робот яндекса имеет доступ на сайт, а ЗЕРКАЛЬЩИК - не имеет. Уж лучше бы наоборот, да...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий