очевидно не выкинуло те страницы, которые не задело. а те что получили 403 ошибку видимо все же выкинуло, иначе отчего бы траф упал...
ну я наверное неправильно выразился, будут не объявления, а сниппеты
ну похоже утопия достигла своего апогея - поисковая система, которая полностью состоит только из платных объявлений типа директа, часть денег поисковик берет себе, остальное начисляется тем кто заходит на сайты... выдача 100% релевантная, за этим будут следить сами владельцы сайтов, ведь бабло из их кармана...
seo компания сделала как раз корректно ежели че ;)
гугл host игнорирует и за ошибку не считает, так что нет смысла из-за этой директивы делать отдельный раздел
для этого как уже сказали есть Crawl-delay, также есть возможность в вебмастере вручную подать заявку на изменения скорости сканирования
это как бы совсем уже другой вопрос. определитесь - нужно снизить нагрузку или полностью закрыть?
ключи белые на белом фоне в гугле - сайт жив и в топе уже год по главному ключевику. адрес могу скинуть в личку всем любопытным
https://www.google.de/?gws_rd=ssl#q=down+for+me один из этих сервисов поможет в таких случаях
403 Forbidden выкидывает страницы быстро и надолго
это не редирект вовсе, это фрейм
