С 23 сентября в Яндекс.Метрике появился новый режим отображения данных «с роботами» и «без роботов». Наблюдая в течение пары недель за отображаемыми данными, я заметил одну особенность, которая привела к интересным выводам.
По работе есть новый сайт с небольшой посещаемостью (10-15 живых люде в сутки), на нём установлен счётчик Яндекс.Метрика. В офисе используется браузер, обычный Google Chrome последней версии, в котором выполнен вход в учётную запись Яндекса. В ходе выполнения настройки мне пришлось несколько раз в течение примерно часа полностью очищать кэш и cookies в браузере и после каждой очистки выполнять посещение нескольких страниц этого сайта. Я заметил, что после этого Яндекс.Метрика стала учитывать все мои посещения как роботов, хотя до этого несколько дней стабильно засчитывала их как живых людей (свои посещения я легко мог отделить от других в Метрике по времени входа).
У меня также есть несколько разных устройств (компьютер дома, ноутбук и смартфон), в которых я залогинен в Яндекс под той же учётной записью. С них тоже все посещения стали считаться роботами. Более того, роботами стали считаться все посещения, выполненные с этих устройств в других браузерах, под другими аккаунтами и т.д. То есть Яндекс пометил связанные устройства и аккаунты как «ненадёжные» и «подозрительные». При этом никаких предупреждений от Яндекса вроде капчи не появлялось. Поиск, Яндекс.Макет, Яндекс.Карты под этими учётными записями продолжали работать с возможностью написания отзывов.
Далее на сайте из-за обилия роботных посещений обнаружилось ужесточение фильтра роботов в Яндекс.Метрике. Посещения других живых людей она тоже стала считать роботами. То, что посещения живые, я мог с уверенностью сказать по картине их действий, отображаемой в Яндекс.Вебвизоре. В итоге скоро доля роботности на сайте стала равной 100% и держалась так несколько дней, пока полностью не прекратил выполнять посещения с «ненадёжных» устройств.
Если это так, то Яндекс создал (абсолютно уверен, что ненамеренно) благоприятные условия для нечестной конкуренции, прикрутив мощную антифрод-систему, необходимую и эффективную для коммерческих сервисов Яндекс.Директ, Яндекс.Деньги (Юмани), Яндекс.Недвижимость, к общедоступному массовому поиску, где её можно использовать для нарушения баланса сил и справедливого распределения ресурсов. Ситуация получилась аналогичной 37 году, когда мощная карательная система, задуманная для борьбы со шпионами и вредителями, оказалась направлена на обычных граждан и ею в своих интересах (с помощью доносов) могли злонамеренно пользоваться негодяи.
Здравствуйте! Пришлите, пожалуйста, мне в личные сообщения номер вашего счётчика — проверим с ребятами из Метрики.
роботность нужно смотреть не в пределах сайта, а в пределах страницы, яндекс это не показывает, а валится то конкретная страница, а не весь сайт.
Здравствуйте! Долю визитов роботов, определенных по поведенческим факторам, по конкретным страницам своего сайта вы можете увидеть в отчёте «Страницы входа» и «Страницы выхода» группы «Содержание». Данные по роботности в разрезе поисковых запросов также доступны в одноименном отчёте «Поисковые запросы» группы «Источники». Посмотрите, пожалуйста.
Здравствуйте! Если вы считаете, что какие-то визиты на вашем счётчике должны были быть определены как роботные или наоборот — пришлите, пожалуйста, мне в личные сообщения номер счётчика и ссылку на отчёт, в котором вы это заметили — проверим с командой Метрики.
Хочу отметить, что сам по себе отказной визит не говорит о том, что он был совершён роботом. Реальный посетитель тоже мог уйти с сайта. Напомню, что визит считается отказом, если для него одновременно актуальны условия: зафиксировано не больше одного просмотра страницы, продолжительность визита меньше заданного времени (по умолчанию 15 секунд), не зафиксировано служебное событие «неотказ». Рассказываем об этом здесь: https://yandex.ru/support/metrica/general/glossary.html#glossary__gen Посмотрите, пожалуйста.
Подождите... А разве в РСЯ нет такого блока, который вызывается на весь экран?
Здравствуйте! В РСЯ есть такой блок, но его разрешено устанавливать только в мобильной версии сайта. Показ полноэкранной рекламы на десктопных версиях сайта запрещен правилами Рекламной сети (п.3.3): https://yandex.ru/legal/partner/
Ответ
Мы проверили ситуацию с запретами в robots.txt вашего сайта.
Сейчас директивы в файле robots.txt, к сожалению, не обрабатываются. Это связано с тем, что в файле указано огромное число директив. Рекомендуем по возможности сократить размер файла до 500 строк.
Основные требования к файлу robots.txt можно прочесть в нашей Справке.Отдельное спасибо парням за ссылку на справку, где указано ограничение в 500 КБ. Что вообще не тоже самое. В итоге у меня сайт уже месяц без robots.txt, а вы даете людям опасные советы...Шо интересно, еще 4 недели назад, убирал через robots.txt 800 страниц, robots считывался...
Я рекомендую вам задать дополнительные уточняющие вопросы в том же тикете, так обратная связь с командой получится быстрее. Хочу добавить, что в целом не советую использовать файл robots.txt для постраничного ограничения отдельных страниц. Если необходимо запретить обход отдельных ссылок, для этого можно использовать мета-тег noindex. В robots.txt же в первую очередь стоит запрещать разделы и большие группы страниц по определенному признаку.
Работа ребят из вебмастера, сегодня заметил, они похоже не знают что такое верстка или это нововведение?
Здравствуйте! У меня такая ситуация не воспроизводится. Дело может быть в настройках вашего браузера. Пожалуйста, попробуйте проделать следующие действия:
После этого проверьте результаты поиска, сохраняется ли ситуация? Если да — проверьте, воспроизводится ли она в других браузерах. Сообщите мне, пожалуйста, в каких браузерах она повторилась.
Доброго дня.
Хочу понять как вот такое появляется в выдаче директа : https://disk.yandex.ua/i/RubgAhi9Bw8JkQ
Что заголовок объявления, что "уточнения" - по идее проходят модерацию. Да их просто автомат директа должен был забанить по идее. Почему не забанил?
Здравствуйте! Спасибо за сигнал. Попросил команду модерации дополнительно проверить указанные объявления.
Здравствуйте! Работы ещё ведутся, точных сроков их окончания пока назвать не получится. Следите за новостями в блоге Вебмастера: https://webmaster.yandex.ru/blog Ребята обязательно всё расскажут.
Да тут как бы даже и не про исключение из индекса. Дело в том, что эти страницы в нем и не были. Яндекс их считал как недостаточно качественные, и в индекс брать не хотел. Собственно, вот поэтому, и потому, что этих товаров больше нет у поставщиков, они были удалены. И вот спустя полгода они вдруг появляются в индексе...
И вы кстати упомянули про robots.txt. Я вот прямо сейчас пытаюсь удалить таким способом еще одну большую пачку ненужных товаров. 3,5 тыс. В правилах у вас макс размер файла 500 кб. Он у меня получился 250. Прошло полторы недели. Яндекс robots.txt не взял. Ну думаю, правила правилами, а наверно большой. Уменьшил до 1,5 тыс. строк (90 кб), прошла неделя - тоже не взял. Сейчас у меня там уже 500 строчек, пока прошло 4 дня...Раньше для такого фокуса нужно было пару дней. Теперь что, действительно нужны недели?
Думаю, здесь потребуется участие ребят из Вебмастера, нужно более подробно разобраться в причинах. Напишите, пожалуйста, им напрямую через форму обратной связи: https://yandex.ru/support/webmaster/troubleshooting.html Они вас уже ждут.
пришло письмо о том что мой сайт нарушает политику Яндекса о нарушении размещения блоков, у меня стоял попап на мобилках и на десктопе (про него я не знал, случайно поставил). В итоге убрал все попапы, с сайта, но заходя на конкурентов увидел практически на всех сайтах такой попап что на десктопе, что на мобильных. Получается такой можно? и кто может подсказать как сделать такой рекламный блок?
