Фильтр малополезный контент - Вторая волна сбоя? 2018. Часть 3

Brat_Sergij
На сайте с 26.11.2015
Offline
340
#11
OS_ZP_UA:
Я как бы, почему в эту сторону начал копать. На сайтах не получавших метку, с тем же расположением блоков, на том же сервере, с таким же качеством контента, ситуация загружено/в поиске выглядит например 11665/9230 т.е. 79% проиндексированных страниц присутствуют в поиске. Метка прилетала и ее сняли, на два сайта, у которых около 60% страниц присутствует в поиске. А с вот этого, у которого всего 32% страниц присутствует в поиске, метку один раз на неделю сняли, и вернули опять.

Так робот к загруженным страницам относит все, даже тех которых нет физически: страницы с параметрами в URL, с метками для отслеживания переходов, с ошибками в урл (с других сайтов), с параметрами поиска по сайту, редиректы и пр. Как Вы хотите от них избавиться? Вы на это не можете влиять. Чем объемней сайт, тем больше таких "мусорных" ссылок. И в таблице, если загрузить её из кабинета вебмастера, видно, что робот после проглатывания такой ссылки переходит на каноническую страницу, как и должно быть.

Гораздо хуже, когда такие страницы попадают в поиск и находятся в индексе. Вот тогда это действительно беда.

D
На сайте с 20.05.2013
Offline
122
#12
Aisgrup:
<!--WEB--> Оскорбляя всех подряд ты самоутверждаешься так? В школе походу пинали все кому не лень, решил здесь себя проявить. А ты не в курсе что запреты в роботсе не всегда учитываются.

Просто не реагируйте на него. Я как вижу его ник, так сразу пропускаю не читая чушь, которую он пишет

Bartlby
На сайте с 30.08.2010
Offline
103
#13

По совпадению массовые баны начались именно в момент начала загрузки роботом яндекса картинок. Картинки загружались роботом как страницы, но в индекс не попадали. Малополезный контент? Може поэтому метки?

OZ
На сайте с 24.04.2018
Offline
59
#14
Brat_Sergij:
Так робот к загруженным страницам относит все, даже тех которых нет физически: страницы с параметрами, с метками для отслеживания переходов, с ошибками в урл (с других сайтов), с параметрами поиска по сайту и пр. Как Вы хотите от них избавиться? Вы на это не можете влиять.

Не согласен. Робот к отсканированным относит все, что может отсканировать, т.е. не запрещено в роботс и не отдает ошибку.

Ошибка в урл должна отдавать 404, и ее не будет в отсканированных, раздел закрытый в роботс, так же не будет в отсканированных (по другим сайтам посмотрел, там где например /users/ закріт в роботс, он полностью отсутствует в отсканированных).

Присутствуют в отсканированных, только открытые разделы, такие как картинки, и например AMP версия, которую сканирует, она даже иногда появляется в поиске, а на следующий АП вылетает, с пометкой "Страница проиндексирована по каноническому адресу который был указан в атрибуте rel="canonical" в исходном коде". т.е. в принципе это нормально, так и должно быть, и это не должно быть проблемой для нормального бота. Но пока что я нашел это как единственную связь между получением меток и качеством сайтов/количеством рекламы.

Brat_Sergij
На сайте с 26.11.2015
Offline
340
#15
Bartlby:
По совпадению массовые баны начались именно в момент начала загрузки роботом яндекса картинок. Картинки загружались роботом как страницы, но в индекс не попадали. Малополезный контент? Може поэтому метки?

На какому-то другом форуме читал0 что задавали этот вопрос Платону насчет картинок. Ответ был, что мол не беспокойтесь, робот живет своей жизнью, статистика по обходу картинок вас не должна волновать, это ни на что не влияет.

Вот интересно, если Яндекс начал исключать из индекса картинки со всех сайтов, то за счет чего он формирует свою поисковую базу этих самых картинок? )

---------- Добавлено 15.05.2018 в 11:52 ----------

OS_ZP_UA:
Не согласен. Робот к отсканированным относит все, что может отсканировать, т.е. не запрещено в роботс и не отдает ошибку.
Ошибка в урл должна отдавать 404, и ее не будет в отсканированных, раздел закрытый в роботс, так же не будет в отсканированных (по другим сайтам посмотрел, там где например /users/ закріт в роботс, он полностью отсутствует в отсканированных).
Присутствуют в отсканированных, только открытые разделы, такие как картинки, и например AMP версия, которую сканирует, она даже иногда появляется в поиске, а на следующий АП вылетает, с пометкой "Страница проиндексирована по каноническому адресу который был указан в атрибуте rel="canonical" в исходном коде". т.е. в принципе это нормально, так и должно быть, и это не должно быть проблемой для нормального бота. Но пока что я нашел это как единственную связь между получением меток и качеством сайтов/количеством рекламы.

А зачем ему что-то запрещать, например, просмотр страниц с параметрами в URL, если в коде этих страниц есть ссылка на каноническую страницу?? Одно время аналогичная ситуация была с Гуглом - их робот плюет на запреты в robots и сканирует всё подряд. Так вот чем больше ты ему запрещаешь, тем больше этого мусора он добавляет в индекс (сопли). После того как это было выявлено, все вебмастера для гугл в robots открывали практически все разделы, и проблемы с индексацией пропадали. Убедился в этом на собственном опыте. Куча статей была написана по этой теме, так как задело многих.

Bartlby
На сайте с 30.08.2010
Offline
103
#16

Короче решил для яндекса в роботс запретить папку uploads, раз он картинки не индексирует вообще. Посмотрим что будет с меткой через какое-то время. Всё-таки в простые совпадения я уже давно не верю.

OZ
На сайте с 24.04.2018
Offline
59
#17
Brat_Sergij:
На какому-то другом форуме читал0 что задавали этот вопрос Платону насчет картинок. Ответ был, что мол не беспокойтесь, робот живет своей жизнью, статистика по обходу картинок вас не должна волновать, это ни на что не влияет.

Вот интересно, если Яндекс начал исключать из индекса картинки со всех сайтов, то за счет чего он формирует свою поисковую базу этих самых картинок? )

Я где то встречал что отображаемое кол-во картинок вас не должно волновать, по тому что это результаты основного индексирующего бота яндекса, для яндекс картинок отдельный бот, и соответственно совсем другие результаты.

Brat_Sergij:

А зачем ему что-то запрещать, например, просмотр страниц с параметрами в URL, если в коде этих страниц есть ссылка на каноническую страницу?? Одно время аналогичная ситуация была с Гуглом - их робот плюет на запреты в robots и сканирует всё подряд. Так вот чем больше ты ему запрещаешь, тем больше этого мусора он добавляет в индекс (сопли). После того как это было выявлено, все вебмастера для гугл в robots открывали практически все разделы, и проблемы с индексацией пропадали. Убедился в этом на собственном опыте. Куча статей была написана по этой теме, так как задело многих.

Ну так для Гугла да, там чистый роботс это нормально, Гугл умный, сам разберется....у меня аналогично было сделано и для Яши....но видимо, тут не такой умный робот....

Brat_Sergij
На сайте с 26.11.2015
Offline
340
#18

OS_ZP_UA, ну вот смотрите для примера:

И для некоторых страниц заметил, что такого рода ссылок куча, и все они учитываются как загруженные страницы, а потом исключаются роботом как неканонические. Что Вы с ними можете делать? Кстати непонятно откуда они вообще берутся...

Bartlby
На сайте с 30.08.2010
Offline
103
#19

В этот же день мой сайт попал под фильтр.

Короче что-то там намудрили и всё посыпалось

Brat_Sergij
На сайте с 26.11.2015
Offline
340
#20

АХАХАХА, анаголично! Именно 28-го попал под фильтр!

И что характерно: выход из-под фильтра один в один совпадает с датой последнего обхода роботом картинок :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий