Да, кешируется содержимое.
Поменял содержимое sitemap, Яндекс файл съел - в вебмастере отображается, что загружен свежий файл, а робот яндекса все равно ломится по старым страницам из старого sitemap. Как поправить или как долго ждать пока робот одумается?
В robots.txt не смогу ни каждую указать, ни по регулярному выражению, т.к. необходимо выборочно удалить достаточно большое количество, roobts.txt только до 32кб воспринимается.
Достаточно ли на этих страницах прописать:
<meta name="robots" content="noindex, nofollow">
или
<meta name="robots" content="none"/>?
Не страшно если запись будет не в самом верху страницы, а перед основным текстом страницы?
таже самая проблема. Различные сервисы показывают другой ТИЦ
совпадение
Метрика похоже на паузу встала. Не к добру все это.. Только жертвой похоже будут вебмастера.
трафик просел на 25% в час
глюк. site:domen.ru более адекватные значения показывает
так же кол-во страниц прыгает
