Через google webmaster tools попробуйте послать запрос.
Я этим не занимаюсь :) но знаю что извлеч выгоду можно, общий смысл понятен...
http://en.wikipedia.org/wiki/Digg
http://en.wikipedia.org/wiki/Reddit
Успешных российских аналогов нет, и главное отличие зарубежных - то что там есть хороший трафик и на них можно заработать.
Спалил тему :D
А какой результат выдаёт http://validator.w3.org/ и http://jigsaw.w3.org/css-validator/ ?
У меня все работает, в robots.txt стоит :
User-agent: Slurp
Disallow: /
Возможно Ваш вариант тоже правильный, просто бот ещё не скачал новую версию robots.txt .
Можно временно заблокироать доступ через .htaccess :
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteCond %{HTTP_USER_AGENT} ^.*Slurp.*$ [NC]
RewriteRule .* - [F,L]
кроме robots.txt неплохо было бы в .htaccess прописать редирект
RewriteCond %{HTTP_HOST} ^site.ru$ [NC]
RewriteRule (.*) http://www.site.ru/$1 [R=301,L]
Я бы не стал Яндекс с Google так приравнивать, мне кажется у них разная тактика. Google не отменил PR как некоторые предсказывали, и показывает backlink-и в webmaster tools. Например [POST=2618196]тут[/POST] обсуждалось (мое сообщение).
Google определяет регион сайта, одновременно русским и украинским его не сделать, если только одновременно не русским и не украинским, это клиенту не сложно объяснить будет.
Google Analytics - лучше чем LI по многим показателям, невидимый и не требующий обратной ссылки
Google Webmaster Tools - дополнительная информация от Google, в том числе и о местах в выдаче/кликах
