Внимание! Произошла ошибка при обращении робота к главной странице вашего сайта..

Это видимо ошибка со стороны Яндекса. Вот какой ответ сервера:
Ответ сервера:
HTTP/1.1 200 OK
Date: Tue, 20 Oct 2009 05:12:00 GMT
Server: Apache
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Pragma: no-cache

Если бы реально был 504, то и у других пользователей не открывался бы сайт.

Сделали трассировку до сайта
webmaster.yandex.ru с нашего сервера, как видно потери идут на 5 узле
yandex.ru
$ tracert webmaster.yandex.ru
-bash: tracert: command not found
-bash-3.00$ traceroute webmaster.yandex.ru
traceroute: Warning: webmaster.yandex.ru has multiple addresses;
using 77.88.21.69

Вам нужно обратиться к тех поддержки webmaster.yandex.ru
traceroute to corba-http-export.yandex.ru (77.88.21.69), 30 hops max,
38 byte packets
1 94.103.91.253 (94.103.91.253) 0.316 ms 0.267 ms 0.265 ms
2 94.198.48.109 (94.198.48.109) 0.595 ms 0.551 ms 0.271 ms
3 94.198.48.81 (94.198.48.81) 0.305 ms 1.257 ms 0.356 ms
4 94.198.48.73 (94.198.48.73) 0.466 ms 0.433 ms 0.431 ms
5 * * *
6 hummer-vlan602.yandex.net (77.88.16.124) 6.153 ms 1.505 ms
1.561 ms
7 gallium-vlan2.yandex.net (87.250.228.139) 1.326 ms 3.329 ms
1.193 ms
8 corba-http-export.yandex.ru (77.88.21.69) 0.974 ms 1.336 ms
1.301 ms