Поведение By.ru: тырят трафик?

euhenio
На сайте с 21.09.2001
Offline
357
5769

Исходник здесь http://blog.promosite.ru/comments.php?326 , сюда пришел - обсудить хочу.

**************

Зашел сейчас в Яндекс посмотреть про перевал Цирк 2А - и 6-м номером сайтик на by.ru:

Алтай 1998. Домашняя страничка Александра Люлина.
2А- р.Катуньпер.Арсенал 1А- р.Белая Берель- пер.Цирк 2А- пер.Туристов 1Б- пер.Титова 2А- оз.Аккемское- пер.Кузияк н.к.- пос.Тюнгур- Телецкое озеро- г ...
http://lulinalex.by.ru/Texts/Tourism/Reports/Alien/Altay/1998.htm

Захожу туда и вижу: сайт удален (на самом деле не удален, а "перемещен в архив", но это только если вчитаться):

Документ перемещён.

Вы запросили страницу сайта «lulinalex.by.ru», который не обновлялся слишком давно, был посчитан устаревшим и перенёсен в архив. Последняя редакция сайта произошла 360 дней назад: 1-го сентября 2004-го года. (*)

Что можно сделать?

* Чтобы увидеть архивную страницу, вам достаточно пройти по этой ссылке. Система распакует для вас сайт «lulinalex.by.ru» и некоторое время вы сможете ходить по всем его страницам.

* Вы можете вернуться на предыдущую страницу и пойти другой дорогой.

* Наконец, актуальную информацию вам могут дать поиск или каталог:

-только не жмите на ссылку распаковки! :)

Ну и там ссылки на байрушный каталог от Бегуна.

Но что удивило. "Нормальные" накрутчики кликов с 404 страниц, типа Агавы - все же перебрасывают на 404 страницу! А здесь - ни фига, по тому же URL все расположено.

Ну ладно, думаю. Может, она 404 в коде http дает? Проверяю через сервис http://seolab.ru/add/header.htm - нет, 200 ОК. Тогда почему он в Яндексе есть, да еще от 2002-2003 года? Нечисто, думаю...

Что оказалось. Экспериментируем с if-modified-since (ставим минус один год) - в том же сервисе на seolab.ru проверяем http://lulinalex.by.ru/Texts/Tourism/Reports/Alien/Altay/1998.htm - оно дает:

HTTP/1.1 200 OK
Date: Sat, 27 Aug 2005 06:00:09 GMT
Server: Apache
Accept-Ranges: bytes
X-Powered-By: PHP/4.3.1
Set-Cookie: extract=1125122409; expires=Sat, 27-Aug-2005 18:00:09 GMT; path=/; domain=lulinalex.by.ru
Connection: close
Content-Type: text/html; charset=WINDOWS-1251
Content-Language: ru

Но это с User-Agent: MSIE! А если поставить User-Agent: Yandex, получится:

HTTP/1.1 304 Not Modified
Date: Sat, 27 Aug 2005 06:00:29 GMT
Server: Apache
Connection: Keep-Alive
Keep-Alive: timeout=5, max=80
ETag: "ba8f87-33cfe-29d67540"
Vary: Host

-короче, By.ru делает вид для поисковиков, что сайт типа есть и не менялся, а сам чужой траф гонит на Бегуна.

Но и даже без IF-MODIFIED - при обычном GET - весь старый контент роботу Яндекса (и другим, вероятно, тоже) - целиком выдают, а юзеру - "документ был перемещен."

Клоакинг обыкновенный.

Кто что думает, что сделать? В принципе, у меня нет сайтов на бай.ру.... Может, настучать, чтобы by.ru забанили? :)

с ув., Евгений Трофименко seo блог Trofimenko.ru ( http://trofimenko.ru/ ) но ыыы мало обновляется... Tools.Promosite.ru - анализатор апдейтов Яндекса (пожертвуйте лимиты на Яндекс.XML! ( https://searchengines.guru/ru/forum/801888/page7#comment_11942489 )) Konvr.ru - увеличение конверсии сайта на 81% за 4 недели ( http://konvr.ru/ )
A
На сайте с 08.03.2003
Offline
203
#1

предприимчивые ребята оказались ;) интересно а забанять ли бай.ру? :D

Славгородский Алексей,
Ваш Партнер – создание и продвижение сайтов (http://vashpartner.ru/)
Евген
На сайте с 28.02.2004
Offline
1040
#2

интересненький клоакинг -)

ситация двоякая - с одной стороны трафик гонят, с другой - ведь можно рапаковать и почитать - вроде как инфа. хотя если б такая вещь была на любом сайте (а у меня типа статей 10000 и все в архиве ;) ) забанили бы по первому стуку.

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
euhenio
На сайте с 21.09.2001
Offline
357
#3

Думаю, они эту запаковку просто придумали. Яндексовскому роботу отдают страницу правильного сайта целиком...

minaton
На сайте с 18.09.2004
Offline
135
#4

Интересно, что ответит Яндекс на абузу. Посмеют ли забанить или стандартное "данный ресурс не использует запрещенных методов искажения результатов поиска"?

Евген
На сайте с 28.02.2004
Offline
1040
#5
euhenio:
Думаю, они эту запаковку просто придумали. Яндексовскому роботу отдают страницу правильного сайта целиком...

возможно. а по ссылке распаковать - просто отдают страницу ничего не распаковывая -)

6666
На сайте с 10.01.2005
Offline
505
#6
Но что удивило. "Нормальные" накрутчики кликов с 404 страниц, типа Агавы - все же перебрасывают на 404

Только если юзер не забыл 404.shtml там разместить самостоятельно. Дааалеко не все юзеры хостингов те владельцы сайтов вообще знают, что такое 404, накрутка и редирект на бодрые сайты знакомств.

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .
Polite Moose
На сайте с 22.04.2002
Offline
85
#7
euhenio:
Думаю, они эту запаковку просто придумали. Яндексовскому роботу отдают страницу правильного сайта целиком...

Евгений, привет!

Запаковку придумали явно не просто так :)

by.ru уже больше года не принимает новые сайты ( http://by.ru/cp?o=create0 ), но поддерживает старые.

Я тут порылся в букмарках, нашел несколько сайтов на by.ru - часть доступна сразу (значит обновляются), а часть выдает сообщения об архивности. Значит "архивируют" всё же не все сайты.

Кстати, переход по ссылке для разархивации, принципиально ничего не меняет (ты просил не нажимать, я нажал, но на другом сайте). Просмотр сайта возможен только в пределах сессии и конкретного окна (у меня IE). Достаточно открыть новое окно, и снова мы видим сообщение "пройдите по ссылке для разархивации".

короче, By.ru делает вид для поисковиков, что сайт типа есть и не менялся, а сам чужой траф гонит на Бегуна.

С формальной точки зрения, сайты действительно есть и не менялись (они всё же доступны и посмотреть их содержимое можно), выдача Яндексу оригинала сайта хороша тем, что искомую информацию (а вдруг она уникальна) найти можно. С этой точки зрения, клоакинг оправдан и ненаказуем. Да и в конце концов, Яндекс может добраться до информации и по ссылке "разархивировать".

Ну а мы, в то же время, понимаем, что происходит "слив" трафика на Бегун и "архивация" ни для каких других целей не используется. С этой точки зрения "архивация" и клоакинг выглядят неприглядно.

Моё мнение: если by.ru не сможет внятно объяснить необходимость "архивации" сайтов - подобное следует пресечь.

Проблема только в методах "пресекания". Бан не выход - можно потерять действительно уникальную информацию. А вот как именно с подобным бороться - вопрос. Именно его и предлагаю обсудить.

Удачи, доброго пива (http://www.fifth-ocean.ru/) и настроения! Релевантность определяется не тИЦ, не ВИЦ, не количеством ссылок, не частотой ключевого слова, а соответствием запросу!
[Удален]
#8

By.ru вообще-то всю жизнь клоачил. Давно еще замечали, что он ссылки добавлял для ботов, и был тогда на первых местах по запросу "хостинг".

Сейчас правда перестал, но в суплях осталось: http://www.google.com/search?hl=en&lr=&safe=off&c2coff=1&rls=GGLD%2CGGLD%3A2004-17%2CGGLD%3Aen&q=%22%D0%91%D0%B5%D1%81%D0%BF%D0%BB%D0%B0%D1%82%D0%BD%D1%8B%D0%B9+%D0%B8+%D0%BA%D0%BE%D0%BC%D0%BC%D0%B5%D1%80%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9+%D1%85%D0%BE%D1%81%D1%82%D0%B8%D0%BD%D0%B3%2C+%D1%87%D0%B0%D1%82%D1%8B+%D0%B8+%D0%BA%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D0%B8%22+site%3Aby.ru

minaton
На сайте с 18.09.2004
Offline
135
#9
А вот как именно с подобным бороться - вопрос.

Обязать их отдавать документ нормально, также как и роботу.

Хотя в Пользовательском соглашении ничего об архиве не говорится. Только вот эти общие слова:

4.2. BY.RU не несёт никакой ответственности за утрату Страниц пользователей, любые ошибки и сбои в работе системы и возможные задержки в передачи данных. Мы не предоставляем никаких гарантий работоспособности услуги. Вы соглашаетесь использовать услуги BY.RU "на свой страх и риск".
4.3. Вы сознаёте, что ресурсы BY.RU, при всей значительности не безграничны, и предоставление их в массовом порядке требует введения стандартных ограничений на их использование. Ограничения, установленные для различных служб, могут меняться с течением времени в зависимости от числа участников и ресурсоёмкости проекта.

Может у кого-то, кто имеет аккаунт, есть объяснение этой «архивации» в хелпе? А то ведь by.ru может просто ответить «Наш хостинг бесплатный, что хотим, то и делаем»

[Удален]
#10

А вообще непонятно, чего вы злые такие.

Ну выжимают свою копеечку из заброшенных ресурсов, чего плохого-то? Надо же им как-то зарабатывать.

Инфу они всё равно сохраняют. А вот на некоторых фрихостах - грохают вообще. Лучше уж так, чем удалять, или увешивать консолями.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий