А кто просматривает в вебмастере статистику в разделе "квоты"? Что дают эти показатели?
То что Вы прописали в роботсе не дает запрета роботу ходить по вашим страницам. Как вариант, пропишите в .htaceess.
Пробежался по своим сайтам, на одних плюсанули, на других в минус:
30 >50
20 <10
30 <10
10 >20
Обновил полностью шаблон на адаптивный, теперь гугл закидал 404 страницами, приходится возиться с редиректом.
Просмотрел стату за той месяц, с гугла картинок уменьшился переход в двое. Что интересно, начались переходы с майл картинок.
На одном из сайтов сутки назад прошелся по новым страницам, сегодня зашел - как не бывало. Что за тормоз?
Тоже актуальный вопрос по одному из сайтов. Подскажите, где находится эта функция?
Ну, если Яндекс не позаботился об этом столько времени значит не считает надобным.
В этой статье автор блога решал проблему с входом в ютуб.
Можно же еще и мониторить конкурентов по выдачи, анализируя их ссылочное.