Не согласен. Робот к отсканированным относит все, что может отсканировать, т.е. не запрещено в роботс и не отдает ошибку.
Ошибка в урл должна отдавать 404, и ее не будет в отсканированных, раздел закрытый в роботс, так же не будет в отсканированных (по другим сайтам посмотрел, там где например /users/ закріт в роботс, он полностью отсутствует в отсканированных).
Присутствуют в отсканированных, только открытые разделы, такие как картинки, и например AMP версия, которую сканирует, она даже иногда появляется в поиске, а на следующий АП вылетает, с пометкой "Страница проиндексирована по каноническому адресу который был указан в атрибуте rel="canonical" в исходном коде". т.е. в принципе это нормально, так и должно быть, и это не должно быть проблемой для нормального бота. Но пока что я нашел это как единственную связь между получением меток и качеством сайтов/количеством рекламы.
Я как бы, почему в эту сторону начал копать. На сайтах не получавших метку, с тем же расположением блоков, на том же сервере, с таким же качеством контента, ситуация загружено/в поиске выглядит например 11665/9230 т.е. 79% проиндексированных страниц присутствуют в поиске. Метка прилетала и ее сняли, на два сайта, у которых около 60% страниц присутствует в поиске. А с вот этого, у которого всего 32% страниц присутствует в поиске, метку один раз на неделю сняли, и вернули опять.
Да как бы без проблемы
Да оно как бы фиг с ним, по остальным сайтам глянул, везде картинки проиндексированы но отсутствуют в поиске, по /m/ а у меня там AMP версия страниц, аналогичная ситуация. Я как бы пока картинки и АМР не закрывал от бота Яши, но по сути, это не проблема, трафика с изображений мизер, АМР версия она скорей для Гугла (Ну точнее она для людей, но все что сделано для людей, это явно не подходит Яше) и ее я тоже по большому счету мог бы закрыть.
Меня просто интересует соотношение проиндексированных/в поиске у других получивших метку.
А какое у вас соотношение страниц Загружено/В поиске ?
Я тут обратил внимание, что у меня сейчас единственный сайт с меткой, имеет соотношение хуже чем 50% от загруженных в поиске. Два других которые ловили, имеют около 60%.
Сейчас закрыл на сайте разделы, которые "малополезны" с точки зрения яндекса, которые хотя и загружены ботом, но в поиске не присутствуют, у меня это например был раздел /user/, один из экспериментальных разделов, эксперимент с которым я признал не успешным больше года назад, но сам раздел не удалял и 5% страниц от него есть в поиске, на фиг знает каких позициях, а остальные 95% вообще не в поиске. В общем, все то что трафика никогда не давало, но бот мог ходить.
Плюс смотрю какого то фига раздел /img/ весь проиндексирован Яшей и ноль в поиске, и мобильная версия сайта /m/ аналогично, вся проиндексирована, но 0 в поиске.
т.е. я думаю моя мысль понятна, максимально постараться уменьшить количество страниц сайта, которые Яндекс индексирует но в Выдачу не отдает, считая их малополезными.
А без носителя языка, это практически нереально, гугл инглыш анализирует на намного более серьезном уровне чем русский.
Ну и EN интернет гораздо лучше наполнен, и написать там что то реально полезное и уникальное, действительно сложно (вот наоборот, из en в ру, это как дважды два, у меня ряд сайтов на переводах инглыш уника сделаны).
Ну и...даже без Яндекса сейчас в рунете можно очень много выжимать из Гугла, рунет это ведь не Россия, где Яша с Гошей 50/50. Россия это всего 53-55% рунета, а остальные 45-47% это другие страны, в которых у Яши доля 5-15%, а король там Гугл....
Вот лет 10 назад, когда у Яши была практически монополия в рунете, тогда это была бы проблема....а сейчас....
Опять же. Когда была добавлена надпись? Что сейчас в кеше Яши? с надписью или без.
Реклама на сайте снята давно? В кеше яндекса основные страницы уже без рекламы, или еще старые с рекламой?
Не, так это понятно. Яж тоже только по своему сайту знаю, есть метка, или нет, но когда долго в тематике, то всех конкурентов знаешь, и видишь, ты получил метку, один конкурент упал, второй конкурент упал, с тебя сняли метку, конкурент вернулся на позиции...и т.д., кругами ходит....
Глядя в одной из тематик на то как сайты получают метку, и как ее снимают...мне кажется, что яндекс решил, что мы в ТОПе теперь будем по очереди))) такой себе однорукий бандит, только в масштабе нескольких дней....
