Ничёсе. Озон отвечает с интервалом меньше месяца. О_о
Константин Валентинович, эта картинка ни о чём не говорит, в общем-то.
Константин Валентинович, я вам по секрету скажу, Гугл отлично сканирует и учитывает ссылки с нофоллоу и редиректами, а также обычное упоминание адреса сайта на странице (без ссылки). Только никому. ;)
Константин Валентинович, конечно остаются. :)
Не думаю, что их чистили вручную.
Константин Валентинович, я вам именно об этом и говорю. После такого ограничения удаляете её через ГВТ - и она больше не появляется.
Константин Валентинович, если вы закрываете страницу в роботсе и затем удаляете её через ГВТ, то она в индексе больше не появится, покуда не будет открыта к индексации в роботсе. По крайней мере, сколько я не удалял (а я удалял их сотни), ни одна никогда не вернулась.
Константин Валентинович, цель вполне конкретная:
Есть вполне конкретный тул для достижения цели:
.htaccess бот может воспринять по-разному - как временную недоступность, как ошибку, как попытку клоакинга и так далее. А нажав кнопку "удалить из индекса" вы однозначно даёте понять, что хотите удалить из выдачи тот или иной материал.
Удаляется он окончательно, или просто чистится из серпов - вопрос другой. Но работает это, повторюсь, очень быстро - день-два и индекс почищен.
Константин Валентинович, на основании юзер-агента/реферера?
Robots - указание рекомендательного, а не обязательного характера.
Sower выше написал самое простое и эффективное решение. Удаляется за пару дней (удаляйте сразу весь каталог).
bimbim, самый простой способ это понять - установить на денёк Метрику и ЛИ (или любые другие пару счётчиков), если трафик продолжает идти, и сравнить картину.
Ну и логи сервера можно глянуть.
