С 99,5% этих тясяч каталогов вы ссылки не увидите никогда по разным причинам: бан, редирект, АГС
А толк-то есть от этого? Может там посещаемость полторы калеки и только одни боты ихние миллионы долбят?
Подтверждаю
Страницу в студию
Правильно, ночью спать надо, а не выдачу во время апдейта теребить )
Веселый месяц апрель
Все зависит от создаваемой ботами нагрузки, если сервер справляется, то Crawl-delay не нужен
antina, Вам надо на них (на поисковики) сильно обидеться
http://webmaster.yandex.ru/addurl.xml "Сервер недоступен"
