опять на свебе вылетели все сайты

это так, для общего развития ))))

http://hosting101.ru/spaceweb.ru?page=1

UNIX хостинг...такая же беда.

Нет хоста где бы были только + и не было бы -

Всегда происходят сбои и люди обиженные валят и везде пишут пр это.

Беда крупных хостингов то что не усмотреть а всем.

Может имеет смысл переименовать темку в "Сайт не проиндексирован из-за настроек сервера" чтобы понять ширину проблемы?

Согласен, но одно дело сбой. Когда сервак новый внедрили или еще фичу какую, ну на крайняк рейд вылетел. Но чтоб так часто 403 страницу выдавало, это ИМХО жестковато, т.к. практически любой сайт сейчас оочень заинтересован в индексации и я уже не говорю о пользователях которые после 10 секунд ожидания закрывают страницу думаю что уже не загрузится.

Я года 2 назад тут писал об аналогичной проблеме. Кстати, за это время на спейсвебе, как я понимаю, ничего изменилось.

Именно!

Например, из-за каких именно настроек?

Яша говорит: Уточните у Вашего хостинга не был ли блокирован IP робота 178.154.160.30 при обращении к сайту.

Host: 178.154.160.30

*

/robots.txt

Http Code: 404 Date: Jun 22 03:27:51 Http Version: HTTP/1.1 Size in Bytes: 11057

Referer: -

Agent: Yandex/1.01.001 (compatible; Win16; I)

*

/katalog/analogovyie-videokameryi/czvetnyie-kameryi/ds-2cc132p132n-czvetnyie-yashhichnyie-kameryi-na-osnove-cm

Http Code: 200 Date: Jun 22 03:27:52 Http Version: HTTP/1.1 Size in Bytes: 12280

Referer: -

Agent: Yandex/1.01.001 (compatible; Win16; I)

*

/

Http Code: 200 Date: Jun 22 09:14:31 Http Version: HTTP/1.1 Size in Bytes: 11057

Referer: -

Agent: Yandex/1.01.001 (compatible; Win16; I)

Что в моем случае говорит о том, что робот таки нормально попадал и никто его не блокировал. Или проблема гораздо глубже, чем Яша говорит.

а пардон с какова айпи слетели сайты:o?

Попадал-то может и нормально, да не всегда и не везде. Вот вам и траблы.

несколько сайтов проверил. вроде все нормуль пока. выделенный сервер у свеб