Трафик на страницах есть?
Такого быть не должно и здесь нужен правильный порядок действий.
Файл robots.txt определяет базовые правила индексации и ни Метрика, ни Вебмастер переопределить их не могут.
Если Яндекс игнорируют правила robots.txt, значит нужно писать в Яндекс и разбираться. Может быть вы неправильно составили инструкции, а может быть и проблема на их стороне - здесь надо конкретно разбираться. Допускаю также, что временно у Яндекс могут быть проблемы и косяки с учётом правил, значит нужно обратить внимание техподдержки на этот счёт и быть с ними в диалоге, ждать решения данного вопроса. Остальные рекомендации с Last-modified здесь действительно уже неактуальны.
Это одна и та же страница, значит при настройке last-modified сервер вернет роботу те же данные. Приведенный адрес - это вариация адреса с рекламной utm меткой целевой страницы. Меток может быть множество и они определяются настройками целей. Я уже говорил - базово их нужно запрещать для индексации. Если при правильных инструкциях в robots они продолжают попадать в индекс - писать в тех. поддержку.
Рекомендация last-modified касается исключительно целевых полезных страниц, для того, чтобы при каждый итерации робота, он правильно расставлял приоритеты и корректнее индексировал новые данные, которые добавляются на сайт. Аномалии в индексации last-modified не решает, равно как и <lastmod> в XML карте - их функция - корректная передача дат обновления страниц для оптимизации поисковой квоты в процессе индексирования.
Владимир, вы вновь перепутали контекст моего ответа.
Я вам про метки писал, вы мне в ответ ересь, и типа что у вас все на мази.
В данной теме вы мне не писали и это мой первый ответ вам на вашу цитату. Причём тут мазь и зачем так горячится - мне непонятно.
Здесь вы ответили своему тёзке и в ответе была цитата,
новые страницы игнорит, а те что не существуют пачками индексирует.
вот применительно к этой проблеме я и дал свою рекомендацию. Она касается вопросов приоритетного индексирования. Не верите мне, почитайте практику использования данных настроек и станет понятно.
Как вы думаете, какой last-modified отдаст ваш сайт на страницу /audit-sajtov?utm=avito
И думаю, и уверен, что все рекламные метки должны быть запрещены для обхода и индексирования через robots.txt директивой Сlean-param для Яндекса и можно настроить Disallow для Гугла. Индексироваться страницы с дополнительными параметрами от рекламных меток не должны.
Сам не крутит. Траф виден (не подробно, но точно зная сколько должно быть на текущий момент при таких позициях, выводы сделать не сложно).
Были бы боты - счетчик раза в 3-4 больше бы показывал.
Тогда подождите, если сайт только зашёл в топ, то возможно у него всё ещё впереди :)
А как вы определили, что в будучи в топе у него нет ни одного бота? У вас есть детализированный доступ к его статистике?
Если он резво вышел в TOP5, возможно он сам крутит и перекрывает текущий объем ботов.
Настройка ответов last-modified должна помочь. И корректное соблюдение lastmod у xml карты.
Яндекс фиксирует 404 ошибку и не удаляет из индекса?
Совершенно верно, боты приходят на сайт не по признаку обязательного наличия метрики.
Сложность как раз в том, что множество ботов задерживаются на сайте и могу хаотично выполнять клики, имитируя пользовательские действия.
Верно. Однако тут нужно уточнить, что боты потрят ПФ не только фактически отказами, но и искажением общего сигнала в общем наборе пользовательских действий (увеличивая поток пустых нецелевых кликов, снижая конверсии и т.д.)
Вполне разумное решение, если родительский раздел задает "спальню" или "гостиную", то зачем в дочерний раздел тащить эти слова в название раздела? И так понятно, что в структурной логике оно наследуется. И для смягчения ключевой плотности в том числе. Всё правильно.
Хотя тогда уж если следовать логике до конца, то:
Мебель -> Гостиная -> КомодыМебель -> Спальня -> Комоды
