Brat_Sergij

Brat_Sergij
Рейтинг
378
Регистрация
26.11.2015

В яндекс-мастере -Страницы в поиске - Исключенные - Последнее посещение. Какая у кого дата стоит? У меня 9 мая - день возвращения трафика.

Bartlby:
В файле robots.txt робот проверяет наличие записей, начинающихся с User-agent:, в них учитываются подстроки Yandex (регистр значения не имеет) или * . Если обнаружена строка User-agent: Yandex, директивы для User-agent: * не учитываются. Если строки User-agent: Yandex и User-agent: * отсутствуют, считается, что доступ роботу не ограничен.

---------- Добавлено 15.05.2018 в 18:26 ----------



Думаю так и есть. Поставил себе такой роботс.

Мне кажется в моем исходном варианте как раз не противоречий. Директива Yandex указывает правила для всех ботов а YandexImages именно конкретизирует для конкретного. В чем тут противоречие?

kuprum:
Теперь она известна только Вам :)

А какие известные сети можете порекомендовать тогда? Без риска навредить сайту.

По паре человек в сутки идут конечно.



---------- Добавлено 15.05.2018 в 13:34 ----------

OS_ZP_UA, а как кличут картиночного бота Яндекс? ) YandexImages?

User-agent: Yandex

Disallow: /wp-content/uploads/

Host: сайт

Sitemap: сайт/sitemap.xml

User-agent: YandexImages

Allow: /wp-content/uploads/

Так вроде правильно будет?

А где посмотреть идет ли трафик именно с картинок Яндекс? Может я не там ищу вообще...

А запрет индексации картинок Яндексу на что-нибудь может в принципе повлиять или чему-то навредить? Трафика с картинок конечно никакого нет.

АХАХАХА, анаголично! Именно 28-го попал под фильтр!

И что характерно: выход из-под фильтра один в один совпадает с датой последнего обхода роботом картинок :)

Ну а вдруг это тоже известная, а я не в курсе? ) Просто ранее не увлекался этим никогда.

OS_ZP_UA, ну вот смотрите для примера:

И для некоторых страниц заметил, что такого рода ссылок куча, и все они учитываются как загруженные страницы, а потом исключаются роботом как неканонические. Что Вы с ними можете делать? Кстати непонятно откуда они вообще берутся...

Bartlby:
По совпадению массовые баны начались именно в момент начала загрузки роботом яндекса картинок. Картинки загружались роботом как страницы, но в индекс не попадали. Малополезный контент? Може поэтому метки?

На какому-то другом форуме читал0 что задавали этот вопрос Платону насчет картинок. Ответ был, что мол не беспокойтесь, робот живет своей жизнью, статистика по обходу картинок вас не должна волновать, это ни на что не влияет.

Вот интересно, если Яндекс начал исключать из индекса картинки со всех сайтов, то за счет чего он формирует свою поисковую базу этих самых картинок? )

---------- Добавлено 15.05.2018 в 11:52 ----------

OS_ZP_UA:
Не согласен. Робот к отсканированным относит все, что может отсканировать, т.е. не запрещено в роботс и не отдает ошибку.
Ошибка в урл должна отдавать 404, и ее не будет в отсканированных, раздел закрытый в роботс, так же не будет в отсканированных (по другим сайтам посмотрел, там где например /users/ закріт в роботс, он полностью отсутствует в отсканированных).
Присутствуют в отсканированных, только открытые разделы, такие как картинки, и например AMP версия, которую сканирует, она даже иногда появляется в поиске, а на следующий АП вылетает, с пометкой "Страница проиндексирована по каноническому адресу который был указан в атрибуте rel="canonical" в исходном коде". т.е. в принципе это нормально, так и должно быть, и это не должно быть проблемой для нормального бота. Но пока что я нашел это как единственную связь между получением меток и качеством сайтов/количеством рекламы.

А зачем ему что-то запрещать, например, просмотр страниц с параметрами в URL, если в коде этих страниц есть ссылка на каноническую страницу?? Одно время аналогичная ситуация была с Гуглом - их робот плюет на запреты в robots и сканирует всё подряд. Так вот чем больше ты ему запрещаешь, тем больше этого мусора он добавляет в индекс (сопли). После того как это было выявлено, все вебмастера для гугл в robots открывали практически все разделы, и проблемы с индексацией пропадали. Убедился в этом на собственном опыте. Куча статей была написана по этой теме, так как задело многих.

Всего: 3543