Что-то изменилось при индексации новых страниц?

sud falke
На сайте с 24.11.2006
Offline
60
550

Есть новый сайт, залит больше месяца назад, прописан robots.txt

User-agent: *

Disallow: /admin/

Host: www.sait.ru

User-agent: Yandex

Disallow: /admin/

Host: www.sait.ru

А теперь этапы его индексации в yandex

1. В индексе 1 страница sait.ru - 0 кб

2. В индексе все страницы sait.ru/* (без www)

3(сегодня). К п.2 в индекс добавляется страница www.sait.ru - 0 кб (сохраненная копия пуста) с title http://www.sait.ru/

Почему, во-первых, проигнорирована директива Host (еще на двух сайтах то же самое, индексировались в разное время), во-вторых, что за пустые страницы в сохраненной копии? Кто что думает на сей счет?

Люблю эту компанию Venta (http://www.promo-venta.ru)
albion
На сайте с 07.10.2005
Offline
247
#1
sud falke:
User-agent: *
Disallow: /admin/
Host: www.sait.ru

User-agent: Yandex
Disallow: /admin/
Host: www.sait.ru

Немного не правильно robots.txt составлен. Сначало, если не ошибаюсь, должны идти дерективы относящиеся к конкретной ПС, а потом уже общая. Во вторых, если для Яндекса указан host, то для всех ПС его не надо указывать, т.е. роботс должен выглядеть так:

User-agent: Yandex

Disallow: /admin/

Host: www.sait.ru

User-agent: *

Disallow: /admin/

И я бы вам не советовал папку admin закрывать через robots (общедоступный файл), лучше эту папку закройте через .htaccess . Иначе это лишняя дырка в безопасности. Хотя и название папки очень распространенное для админки.

sud falke:
1. В индексе 1 страница sait.ru - 0 кб

Это скорее всего произошло в результате какого либо глюка. Не должны в поиске быть страницы в 0 кб.

sud falke:
2. В индексе все страницы sait.ru/* (без www)

Ну, а это ошибка скорее всего зеркальщика

sud falke
На сайте с 24.11.2006
Offline
60
#2
albion:
Это скорее всего произошло в результате какого либо глюка. Не должны в поиске быть страницы в 0 кб.

albion, интересный глюк, несколько раз встречал на форуме упоминание о подобном, глюк, имеющий массовое проявление это уже закономерность, причины которой хотелось бы обсудить :)

albion:
Ну, а это ошибка, скорее всего зеркальщика

3 сайта, индексировались в разное время, в robots.txt

Host: www.sait.ru

и все проиндексировались sait.ru :) где-то встречал, жаловался человек, что у него

Host: sait.ru а проиндексировался www.sait.ru

Artlight
На сайте с 15.09.2003
Offline
123
#3

sud falke, это глюк, у меня несколько сайтов раззеркалились.

Обменяю свой вмр на ваш яд курс 1-1
Vadik'One
На сайте с 30.04.2007
Offline
54
#4

Тоже есть такая праблемка на одном из ресурсов. Сайт присутствует с двмуя главными с www и без :(

you will be number one
albion
На сайте с 07.10.2005
Offline
247
#5
sud falke:
причины которой хотелось бы обсудить

А какие причины вы хотите обсудить, если они не известны. Есть предположение, что в момент доступа к сайту, роботу был отдан 200 код с пустой страницей, либо какая либо ошибка (301, 302, 404, 403 и т.д.) и по какой то причине (глюке) Яндекс вывел ее в поиске.

sud falke:
3 сайта, индексировались в разное время, в robots.txt
Host: www.sait.ru
и все проиндексировались sait.ru где-то встречал, жаловался человек, что у него
Host: sait.ru а проиндексировался www.sait.ru

А у меня все последние сайты нормально проиндексировались, даже без роботса. Может где ссылочку поставили с www или в addurl добавили домен с www.

W
На сайте с 30.07.2006
Offline
55
#6
sud falke:
в индекс добавляется страница www.sait.ru - 0 кб (сохраненная копия пуста) с title http://www.sait.ru/

Такая же ситуевина с 2-мя новыми сайтами.

XPraptor
На сайте с 15.10.2004
Offline
333
#7

Вивсит три новых и не только с www. и без - вообще одна страница главная в индексе, и хоть убей яшу, а не хочет показывать что есть другие страницы в идексе, хотя робот пробегает и по 10-20 страниц кушает при заходе, но уда они деваются - не понятно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий