Хм... это будет тест.
Действительно 504-ая ошибка...
Таких не берут в оптимизаторы! :)
Вы подсчитайте сколько тратиться времени на компрессию страницы на P4 2.8Ghz и тогда вопросы про ставить gzip или не ставить отпадут сами собой :)
Рублин, советую перейти на мозиллу или firefox, тогда не будет проблем с яваскриптом.
Почему бы не начать с любого каталога?
Извините, я видно бегло прочитал пост и ответил некорректно :)
Есть такой сервис, но не знаю поможет ли - http://services.google.com/urlconsole/controller
Там нужно указать путь к роботс.тхт, после чего можно увидеть как он обработается роботом. Есть нюанс, робот будет использовать в качестве User-Agent "googlebot-urlconsole", а не "Googlebot/2.1"
http://domain/robots.txt - так слабо проверить? :)
А из-за чего проблемы, если не секрет?
Вопросы туманные... Можно написать так, что хватит и P166mmx/256Mb.
На счет стабильности, видел я как-то на линкаторном сайте ошибку подключения к главному сайту :) Что-то вроде "не могу соединиться с linkator.ru" на пустой странице. Эти горе-умельцы не знают что такое кэш.
Бросайте это гиблое занятие. Нужно быть выше привычек :)