Как ЯД шпионит за пользователями?

Метрика поставила вам куки, а Крипта прописала товары, категории и тематики, которые вам в настоящий момент интересны. Когда заходите на сайт с РСЯ - метрика считывает ваши куки, получает интересы из крипты - и показывает рекламу. Как узнаёт конкретные товары - смотрит, о чем именно страница, в определении может участвовать всё, что участвует в поисковом ранжировании (тайтл, Н1, ЧПУ, текст на странице).

Метрика парсит страницу на которой стоит?

Сайт закрыт от индексации. В то что метрика разбирает страницу так чтобы оставить только горстку ключей - верится с трудом. Отправка всей страницы для парсинга еще более сомнительна.

А попадание явно не случайное. В основном показываются очень четко те вещи которые я обычно тестирую, и лишь 30% другие тематики сайта, там я мог быть случайно или просто близкие по теме показывает.

А основной запрос очень узкий, типа "велосипеды для усурийских тигров, производитель Энергомаш".

Как говорится: "Хотите - верьте, хотите - нет". И метрику, и аналитикс держат бесплатными для сбора информации о том, что интересно пользователям. Потом на основе этой информации показывают актуальную для пользователей рекламу. А для того, чтобы получить эту информацию - нужно понимать, о чем страница, на которой находится пользователь.

сайт не закрыт, а в роботсе просто указано, что вы не хотели бы, чтобы что-то индексировалось.

сайт был бы закрыт, если бы входе на него нужно было вводить пароль, да и то...

метрика запоминает, куда вы ходили, а кто там разбирает дальше и показывает вам - дело яндекса...

Я с контекстом давно дела не имел, но пару лет назад у яши и у гугла политика была такая, что они собирали статистику по посещаемым страницам и т.п. а потом по этим адресам приходил робот (часто сразу за тобой), и этот робот соблюдал женевскую конвенцию о том чтобы не парсить то, что нельзя. Политика поменялась? Смущает меня это, ведь это явное нарушение приваси. Нет, в офферте можно это оговорить, я не с точки зрения юридической, а с точки зрения того как защищаться от утечек лишних. Вот поставлю я в корпоративном закрытом сайте статистику и всё? вся переписка утекла?

строго говоря - да. (переписка на сайте?)

Ну то, что технически парсить можно это понятно.

Но это скажем так "неэтичное поведение". Уж яндекс то точно знает и понимает что такое роботс, и как его читать. От них бы не убыло если бы они там где их просят не лезть, не лезли. Не так часто просят, всем нужна индексация.

Еще точно яндекс прослушивает через микрофон телефонов. Замечено неоднократно на андроид смартах с яндекс браузерами (личный опыт который подтверждался).

Причем именно прослушка, например с друзьями что-то обсудил, через какое-то время в смарте рся реклама на эту тему.

Вот тут кстати новая тема наклевывается. Обсудил с сеошником. Появилась версия что у контентменеджера яндекс-браузер, так что контент украсть могли и оттуда. А посещение страницы мной честно из статистики.

АПД: Это я к тому, что потом гуглить могли друзья или еще какая связь могла быть, а не голосом отлавливать. Всю цепочку не всегда возможно отследить.

Раз вы пишете "пришел робот" - значит робот уже получил полностью страницу. А уж как он её обрабатывает, и что он из неё сохраняет - знает только яндекс, вы видите только небольшую часть конечного результата - поисковую выдачу. Гугл, кстати, честнее или наглее - выводит ссылки на запрещенные к индексированию страницы, только пишет в сниппете, что индексирование сайта запрещено и не показывает кэш страницы.

На самом деле, постоянно появляются подобные темы и сообщения.

---------- Добавлено 19.07.2016 в 14:29 ----------

Интересная версия, но не выдерживает критики, потому что по одному и тому же URL'у разным пользователям могут показываться абсолютно разные вещи, на тех же AJAX-сайтах. На месте яндекса, я бы на такое не рассчитывал.