Я рекомендую вам задать дополнительные уточняющие вопросы в том же тикете, так обратная связь с командой получится быстрее. Хочу добавить, что в целом не советую использовать файл robots.txt для постраничного ограничения отдельных страниц. Если необходимо запретить обход отдельных ссылок, для этого можно использовать мета-тег noindex. В robots.txt же в первую очередь стоит запрещать разделы и большие группы страниц по определенному признаку.
Вернулись в начало... Яндекс грузит в индекс то, что уже полгода как 404. Куда я метатеги нарисую? Меняете правила, то хоть отражайте это в справке.
Поддержка Яндекс.ПоискаЗдравствуйте!Спасибо, что заметили! Передал информацию коллегам о необходимости внесения изменений.Надеюсь это было последнее ограничение, и через неделю я опять не останусь без робота))
Думаю, здесь потребуется участие ребят из Вебмастера, нужно более подробно разобраться в причинах. Напишите, пожалуйста, им напрямую через форму обратной связи: https://yandex.ru/support/webmaster/troubleshooting.html Они вас уже ждут.
Ответ
Мы проверили ситуацию с запретами в robots.txt вашего сайта.
Сейчас директивы в файле robots.txt, к сожалению, не обрабатываются. Это связано с тем, что в файле указано огромное число директив. Рекомендуем по возможности сократить размер файла до 500 строк.
Основные требования к файлу robots.txt можно прочесть в нашей Справке.Отдельное спасибо парням за ссылку на справку, где указано ограничение в 500 КБ. Что вообще не тоже самое. В итоге у меня сайт уже месяц без robots.txt, а вы даете людям опасные советы...Шо интересно, еще 4 недели назад, убирал через robots.txt 800 страниц, robots считывался...
Здравствуйте! Для того, чтобы узнать об http-коде 404 со всех таких ссылок, поисковому роботу может потребоваться какое-то время, так как нужно переиндексировать каждую такую страницу. Вы можете ускорить процесс исключения из поиска ссылок с http-кодом 404, запретив их индексирование в файле robots.txt вашего сайта. В таком случае они смогут выпасть из выдачи в течение 1-2 недель. Подробнее о файле robots.txt вы можете прочитать в нашей Справке: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html
Да тут как бы даже и не про исключение из индекса. Дело в том, что эти страницы в нем и не были. Яндекс их считал как недостаточно качественные, и в индекс брать не хотел. Собственно, вот поэтому, и потому, что этих товаров больше нет у поставщиков, они были удалены. И вот спустя полгода они вдруг появляются в индексе...
И вы кстати упомянули про robots.txt. Я вот прямо сейчас пытаюсь удалить таким способом еще одну большую пачку ненужных товаров. 3,5 тыс. В правилах у вас макс размер файла 500 кб. Он у меня получился 250. Прошло полторы недели. Яндекс robots.txt не взял. Ну думаю, правила правилами, а наверно большой. Уменьшил до 1,5 тыс. строк (90 кб), прошла неделя - тоже не взял. Сейчас у меня там уже 500 строчек, пока прошло 4 дня...Раньше для такого фокуса нужно было пару дней. Теперь что, действительно нужны недели?
Значит у меня какой-то уникальный аккаунт. На котором у всех сайтов примерно одна и та же картина. Разных людей, на разных серверах, с разным трафиком.Примерыhttps://skr.sh/i/261021/bDfGBKFv.jpghttps://skr.sh/i/261021/IfSXRpb4.jpghttps://skr.sh/i/261021/XlI1sAyJ.jpgНашел вот какой-то уникальный сайт, где вкладка "без роботов" не активная, поэтому ничего не показываетhttps://skr.sh/i/261021/Uk6cjdCG.jpgНо видимо просто древний код.
Понятно...На всех сайтах их инструмент "Без роботов" показывает их наличие. И +/- одно и тоже в процентах. На 1000 посетителей, "С роботами", обязательно показывает + 10-60 "роботов". Но тут не про РСЯ. Тут про нерабочий инструмент в метрике.
У меня в метрике показывает что на сайтах нет роботов. В РСЯ, в свою очередь, все сайты под фильтром, клики не учитываются.
Извините не верю. Сделайте скриншот пожалуйста.
У меня доступ боле чем к сотне сайтов, некоторые периодически под атаками ботов. С аномальным трафиком кратно превышающим обычный. Во всех случаях инструмент "Без роботов" работает точно так же. Отминусовывая 1-6%, даже если там боты почти все.Вы сделали муляж, имитацию определения роботов. Его не надо анализировать. Надо сделать инструмент, который правда будет их отфильтровывать.
Здравствуйте! Давайте посмотрим, почему так могло произойти. Для этого пришлите мне, пожалуйста, ссылку на отчёт, где вы наблюдаете такую ситуацию.
Зачем? Если это какая-то имитация определения роботов. Которая на самом деле их не определяет...Вот на скрине прямые переходы, с роботами и без. В действительности прямых переходов на этом сайте до 150/в день. Пики (400, 600, 1000+...), это бототрафик. Из которого ваш инструмент определяет как роботов единицы, или десятки. Когда их овер 1000.Ровно такая же картинка по другим типам трафика, из соцсетей, по ссылкам и пр. Когда под их реферами идет атака ботов. Вы их не определяете. Вы просто рисуете некую кривую, которая (смотря по типу трафика) на 1-6% выше, и назвали ее "С роботами".Слегка рандомизировали, что бы не была совсем уже параллельной. Но рукожопо. Поэтому иногда "без роботов" у вас выходит больше.)))
