MaulNet, посмотрите здесь:
http://www.robotstxt.org/wc/norobots.html
http://www.google.com/support/webmasters/bin/answer.py?answer=40360&topic=8846
Как я понял, если уж используете robots.txt, то по крайней мере две конструкции - User-agent и Disallow быть должны.
По стуку оперативно.
Недавно обсуждалась тема про линкаторные сайты в гугле. Воспользуйтесь, пожалуйста, поиском.
Насколько я помню, строка с Disallow должна быть в любом случае. Даже если Вы ничего не запрещаете к индексации.
Заезжайте погулять по городу, пока лето. :)
Лучшее время для прогулок по Кронштадту!
Не совсем чтобы Питер, но район - Кронштадт
http://gallery.kotlin.ru
http://help.yandex.ru/search/#case
http://help.yandex.ru/search/?id=481938#case
Вот чего мне прямо сейчас не хватает: модуль анализатор логов; поисковые роботы. Очень хочется иметь возможность сортировать по коду отклика (или видеть только конкретный код, в частности, 404).
С какими? :)
Потому что в расчёте тица это всё-таки будут разные сайты (как мне тут недавно прояснили :) )
Luvila, это Вы SEO-расширение для Firefox поставили :)
