Пойдет ли робот

Подобно браузеру, в соответствии со спецификацией RFC 2396.

большое спасибо

а читает ли робот CSS в отдельном файле?

Он все читает, инструкции ssi на сервере тоже выполняются.

нет, не все, java скрипты, например, он не смотрит. Как утверждают разработчики, и css он тоже не смотрит, так как это информация для браузера, а не для пользователя.

поаккуратнее с такими заявлениями. Я ни разу не видел, чтобы роботы забирали файлы с расширением .CSS, а тем более .JS.

Поправьте, если не права, но зачем роботу css? Роботы очень бережливые существа, так что читать и хранить в базе то, что для них ничего не значит не будут.

CSSом легко спамить - закрывать от видимости блоки и т.д.

Как с этим робот будет бороться?

Про js я ничего не писал (читает - не равно выполняет)... А css, думаю, он все же смотрит. Иначе как бороться с тэгом H1=10px? Думаете все вручную модерится?

Хороший вопрос. Но практика показывает, что с этим борются конкуретны, которые пишут письма в спам-репорт и модераторы, которые их читают. Правила форума не позволяют приводить подобных примеров, но я знаю не один сайт, где h1 как раз 10px и не является логическим заголовком страницы. И он не забанен.

10px это еще ничего

вот если делать вобще display:none или блок прятать за зону видимости, поймет ли робот что его спамят?

или бан будет только тогда когда конкуренты настучат?