Обязательная.
Почитайте вот это для развития и понимания работы.
А не проще ли все это смотреть через веб-мастер яндекса или через форму проверить сайт?
nik_kent, просто вам совет: если делаете блок для какой-то ПС, то надо указать что это для такой-то ПС.
А в последнем блоке сделать для всех оставшихся ПС.
lap09, попробуйте так сделать:
User-agent: Yandex
Disallow:
Host: www.site.ru
User-agent: Googlebot
Sitemap: http://site.ru/sitemap.xml.gz
User-agent: *
И потом проверьте как происходит анализ всего этого на гугл вебмастере.
А вы думаете их без этого не найдут?
lap09, Покажите что написано в файле robots.txt.
И даже может помочь. ;) При грамотном подходе. :)
А что такого умного хакеры-посетители могут увидеть у вас в robots.txt?
+ желательно все проверить на вирусники, как сам сайт, так и комп.
Ну естественно для тупого заспамливания.
