Ранее поднимался этот вопрос и проблема была устранена. Нужно просто единоразово удалить "такие" ссылки, набить по максимуму стоп-лист. У меня на данный момент проблем в этом плане нет.
Это все из-за 16-го☝
от 26 марта сегодня оплатили
За 16 апреля нет начислений:
Месяц - как-бы психологический барьер, что-ли...
Жаль, конечно, но судя по всему пора отключаться? - Дотяну до МЕСЯЦА! - 9-го из розетки выдерну. Да простят меня оптимизаторы
2015_b3e40ea9 09.02.2015
Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды.
Второй день подряд!
Настроение дрянь, охота нагрубить
За вчера не расчиталось
