Если речь идет о вашем сайте, то лучше от сессий в строке запроса избавиться.
Почитайте об этом на форуме, например здесь:
/ru/forum/66518
Я имел в виду, что если у вас в роботс прописаны строки User-agent для разных поисковиков, то и Disallow: для разных поисковиков должны повторяться несколько раз.
А не так:
И не так:
Если не в этом причина, тогда вообще странно.
Поисковик не успел еще склеить страницы с идентификаторами сессий. Со временем, склеит и уберет из индекса одинаковые страницы с разными ID.
А если так?
Может кто то ваш контент дерет себе на сайт, хостящийся на hrn.ru, новости например?
Ну вот всё и разъяснилось. ;)
Размер файла, получаемого с сервера никак не зависит от вёрстки страницы.
Так же как и растояние индексируемого текста от начала страницы никак не зависит от размера <head></head>, а также от количества тегов в <body>.
Какой заголовок отдает сервер можно посмотреть здесь:http://www.be1.ru/stat/
В вашем случае, он должен быть HTTP/1.0 301 Moved Permanently
Раз уж вы так оперативно начали работать над изменением дизайна, я бы еще добавил, что 100 кБ для картинки jpg для backgroung-image серого цвета, размером во весь экран, несколько многовато.
Все правильно,
Options -Indexes
и нет проблем.