Из логов, а как же еще.
/ru/forum/20830
Я с вами не соглашусь, это именно проблема и как сказано выше, проблема уникального контента.
P.S. А ПР не панацея для ускорения индексации в гугле, есть еще и GoogleSitemaps.
Сайта на русском?
Есть аналогичная порблема, бот достаточно хорошо ходит по сайту, но в индекс занесена только главная страница.
Англоязычный сайт был занесен в индекс через месяц, были проделаны теже работы что и с русским. Вот и возникает вопросо, на сколько важен язык сайта при индексации?
Так что же вам нужно?
Иногда помагает запросить по другому, например так:
http://www.google.com/ie?q=allinurl%3Aindex.php%3F&num=100&hl=en&lr=&c2coff=1
Применяется в случае хостинга под Апачем, с поддержкой modrewrite, как правило это поддерживают 99% хостеров :)
Надо создат файл в корне сайта .htaccess
Содержание файла:
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} !^www.your-site.ru$
RewriteRule ^ http://www.your-site.ru%{REQUEST_URI} [R=301,L]
Доброе время суток.
Есть вопрос каксательно топика.
Если не трогать robots.txt, а применить 301 редирект для www и без, произойдет ли склейка ТИЦ?
В идеале базы данных на всех дата-центрах должны быть синхронизированы, поэтому я думаю, что териториальная выдача зависит всеже не от того с кокого дата-центра взяты данные, а возможно результат отдается после того как пройдет филтр, который зависит от вашего Ip.
ЗЫ это лишь только мое мнение, непредендующее на достоверность
Если не ощибаюсь, то вот пример запроса с определенного дата-центра
http://216.239.37.99/search?hl=en&lr=&q=datacenter
