robots.txt нужен обязательно, если сайт или форум интересен, то роботы поисковиков могут так его проиндексировать, что появятся ошибки или полетит БД (уже есть опыт). Кому интересно загляните сюда: http://www.be1.ru/stat/ вводите в окно ( вверху, слева) адрес любого форума или сайт и уаля........ почти все данные о нем и robots.txt тоже.
