Disallow: folder/ - это никогда не сработает.
А дальше зависит от того, что именно вам нужно, папку вместе с ее содержимым, как выглядят адреса папки и страниц и т.п.
http://help.yandex.ru/webmaster/?id=996567 - изучите один раз и регулярно перечитывайте.
Неправильно. Перед вторым User-agent должна быть пустая строка. А первый блок ничего не делает, он лишний.
User-agent: Google
Disallow: /folder/
Xammer2000, вы не видите мои вопросы? ОК, попробуем еще:
1. Когда появилась первая запись в блоге?
2. Как вы контролируете заходы робота, логи?
Сергей, прими мои поздравления!
На таких людях, как ты, многое держится долгие годы.
Смотрите в логах. Робот не "заходит" вообще на сайт, а скачивает ту или иную страницу (страницы). В вебмастере этой информации не предоставляется, а в ваших логах есть.
Думаете, что Яндекс одновременно скачает все страницы, где пропали ссылки, или это займет несколько долгих недель?
/ru/forum/662448
Может склеивали тексты ссылок из кусков автоматом (экселем или еще как-то) и не проверяли вручную, сунули не глядя.
Вот и вся "логика".
В Питере может и средненький, но в Москве - отнюдь.
Так вы ввели левые данные при регистрации домена? Это как раз очень важно. Уговаривайте регистратора.
Все уже, расслабьтесь. Сделайте выводы.
