Яндекс индексирует не без помощи людей

genixxx
На сайте с 19.05.2009
Offline
57
871

Вчера заметил очень странную ситуацию, но решил сначала все хорошенько обдумать прежде чем создавать ахтунговую тему. Но сегодня мои опасения подтвердились, поэтому решил все же поделиться с общественностью, может кто-то этого еще не знает.

Суть - в индекс попадают страницы, просматриваемые человеком, и именно в таком виде, в каком они этим человеком и просматриваются. В общем, я проводил эксперимент по снижению числа отказов и сейчас хочу рассказать о его провале.

Суть эксперимента в том, что людям, пришедшим с поиска, выводится блок, в котором несколько приятных глазу ссылок на инфу по теме. На эти ссылки должны были кликать абсолютное большинство пользователей и показатель отказов должен был упасть. Любопытные могут узнать по той ссылке на сколько он упал, как и остальную интересующую инфу по этой теме, здесь речь о другом.

Этот блок выдавался только тем, у кого в рефере был поисковик и строка запроса. И каково же было мое удивление, когда вчера в кэше яндекса я увидел этот блок! "Это невероятно", - подумал я и поехал домой думать.

Сегодня догадался поискать в яндексе есть ли в индексе документы с этим блоком или он только в кэш попадает и мои опасения подтвердились - 188 страниц в индексе с этим кэшем. Конечно, это мизер, но это отчасти объясняет падение сайта по многим запросам в выдаче в последний ап (т.к. блок был явно не для поисковика сделан - переспам анкорами налицо).

Какие из этого можно сделать выводы? Я бы сделал такой - "Яндекс пользуется нашими компами для индексации сайтов". Ходила молва, что яндекс-бар и примочка к мозиле и т.п. делает свое дело для яндекса, но мне казалось яндекс просто собирает данные о посещаемости, предпочтениях и т.д. А тут попахивает тем, что этот бар отправляет полученную страницу прямиком в индекс яшки. И не исключено, что она потом используется для проверки на клоакинг, что тоже может подпортить репутацию сайта.

А ведь удобно использовать людей и их компы в роли своих ботов?

Система тематического комментирования блогов (http://www.plati.ru/asp/pay.asp?idd=1044022)
frion-seo
На сайте с 23.04.2010
Offline
69
#1
genixxx:
используется для проверки на клоакинг

Для этого у Яндекса есть хитро-боты которые полностью маскируются под пользователя 🚬

genixxx
На сайте с 19.05.2009
Offline
57
#2

Интересно по какому принципу эти хитроботы отбирают запросы, по которым они пришли на страницу якобы. Последний запрос, по которому была отображена страница? Потому что самый популярный запрос явно не катит - в сниппетах видно по каких запросам приходили люди. И это как СНЧ, так и обычные СЧ.

Кстати, некоторые говорят, что должен быть большой исходящий трафик. Гляньте у кого есть KIS 2010 сколько у вас принмиает фаерфокс или IE с баром, а сколько отдает. У меня за сегодня всего в три раза меньше отдал, чем принял:

И да, я не подгружал сегодня ничего с помощью фаерфокса, только серфинг.

А ведь мы все знаем, что текст в общем трафике занимает лишь малую толику, основное это картинки и флеш.

Borya
На сайте с 21.02.2006
Offline
119
#3

Вряд ли. Что Яндекс-бар передает на сервер можно посмотреть, скажем, поставив сборщик траффика.

Наверняка многие смотрели. Если бы страницы кидал - уже было бы известно. Более того, какой смысл гонять столько траффика?

А природа описанного Вами явления запросто может быть совсем другой...

Следишь за АПом? АП следит за тобой... получить ссылки навсегда (http://gogetlinks.net/register_user.php?inv=9jsgpj)
pistolero
На сайте с 16.02.2009
Offline
61
#4
genixxx:
И каково же было мое удивление, когда вчера в кэше яндекса я увидел этот блок! "Это невероятно", - подумал я и поехал домой думать.

Уже несколько дней наблюдаю, что вместо сохраненной копии страницы Яндекс отдает текущий документ, то есть то, что есть на сайте в данный момент. Попробуйте в уже давно проиндексированную страницу внести изменения и тут же запросите ее кэш у Яндекса 🚬

genixxx
На сайте с 19.05.2009
Offline
57
#5
pistolero:
Уже несколько дней наблюдаю, что вместо сохраненной копии страницы Яндекс отдает текущий документ, то есть то, что есть на сайте в данный момент. Попробуйте в уже давно проиндексированную страницу внести изменения и тут же запросите ее кэш у Яндекса 🚬

Вы не внимательно вчитались в тему. Этот блок не должен видеть яндекс, в этом вся суть. А про то, что кэш подгружается сейчас в реальном времени известно.

У кого-нибудь есть KIS 2010? Посмотрите, там прекрасная статистика по трафику (моя картинка оттуда постом выше). Скажите у кого как с этим обстоят дела?

Borya, Вы смотрели трафик? Буду рад услышать Вашу версию.

M
На сайте с 25.03.2009
Offline
44
#6
pistolero:
Уже несколько дней наблюдаю, что вместо сохраненной копии страницы Яндекс отдает текущий документ, то есть то, что есть на сайте в данный момент. Попробуйте в уже давно проиндексированную страницу внести изменения и тут же запросите ее кэш у Яндекса 🚬

есть такой момент - это да... только как это работает пока не совсем понятно т.к. например тайтл не обновляется... я склонен вообще думать ,что у них идёт какая-нибудь замена оборудования или что-то в этом духе...

ТС,

Вчера заметил очень странную ситуацию, но решил сначала все хорошенько обдумать прежде чем создавать ахтунговую тему. Но сегодня мои опасения подтвердились, поэтому решил все же поделиться с общественностью, может кто-то этого еще не знает.

Вы это за день как установили-то а? на пальцах обясните пожалуйста, только в блог не посылайте...

например, есть сайт, за неделю с яши более 2000 переходов на главную, более чем неделю назад на сайте был изменён тайтл, однако в индексе тайтл до сих пор не обновился...

ПС: не могу отделаться от ощущения, что топик рекламирует толи киса толи блог...

/ru/forum/comment/1592771 () =)
genixxx
На сайте с 19.05.2009
Offline
57
#7

mlsha, Ну да точно, я тут рекламирую блог на домене 4-го уровня с 4-мя техническими неоптимизированными статьями личного пользования. Вы меня раскусили. И еще я подрабатываю у Евгения Касперского, опять в точку.

Что именно установил? Я вроде максимально расписал отчего и почему я взял... В блоге лишь описание этого блока, который должен выводиться в соответствии с рефером пользователя и его поисковым запросом. Фигня в том, что запросы эти, по которым якобы переходит хитро-бот яндекса, подменяя себе рефа, очень разнообразные - от сверхНЧ до обычных СЧ. Плюс ко всему меня поразило, что в индексе я обнаружил страницу, которую сам же открыл две минуты назад с поиска (т.е. поисковый запрос в этом блоке был мой).

Seo2z
На сайте с 27.11.2008
Offline
130
#8
И каково же было мое удивление, когда вчера в кэше яндекса я увидел этот блок! "Это невероятно"
Вы не внимательно вчитались в тему. Этот блок не должен видеть яндекс, в этом вся суть.

ТС, вы как кэш смотрите? =) через яндекс? Вы отправляете запрос яндексу, он фиксит, реферер, следствие - вы видите блок. Кэш - реал-тайм (то есть это не правильно, но назовём так), данные не хранятся на серверах Яндекса, они подргужаются от вас.

M
На сайте с 25.03.2009
Offline
44
#9
genixxx:
mlsha, Ну да точно, я тут рекламирую блог на домене 4-го уровня с 4-мя техническими неоптимизированными статьями личного пользования. Вы меня раскусили. И еще я подрабатываю у Евгения Касперского, опять в точку.

а какая разница какого уровня домен? :)

и сколько раз в топике слово кис звучало? :)

genixxx:

Что именно установил? Я вроде максимально расписал отчего и почему я взял... В блоге лишь описание этого блока, который должен выводиться в соответствии с рефером пользователя и его поисковым запросом. Фигня в том, что запросы эти, по которым якобы переходит хитро-бот яндекса, подменяя себе рефа, очень разнообразные - от сверхНЧ до обычных СЧ. Плюс ко всему меня поразило, что в индексе я обнаружил страницу, которую сам же открыл две минуты назад с поиска (т.е. поисковый запрос в этом блоке был мой).

я в блог ваш не ходил, и вы мне про ерёму не рассказывайте, я про фому у вас спросил... поясню: вы про какой-то клоакинг пишите, а вывод делаете, что:

Суть - в индекс попадают страницы, просматриваемые человеком, и именно в таком виде, в каком они этим человеком и просматриваются.

я вам пишу, про то, что есть страница которую пользователи (реальные клиенты) постоянно просматривают и она не обновляется... доступно?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий