Вопрос про индексацию сайта

Доступ к ФТП есть :)

А вот этот момент мне не понятен:

http://www.yandex.ru/cgi-bin/test-robots?host=http://kolazko.ru - пишет: "Индексация сервера kolazko.ru:80 запрещена полностью."

А вот в этом случае (когда пишешь с www) пишет "Данный файл robots.txt ничего не запрещает." -

http://www.yandex.ru/cgi-bin/test-robots?host=http://www.kolazko.ru

Загадка...

Я посмотрела другие сайты на этом же хостинге:

http://www.yandex.ru/cgi-bin/test-robots?host=http://vizu.ru - индексация полностью запрещена.

А здесь запрещено несколько страниц, которые специально закрыли http://www.yandex.ru/cgi-bin/test-robots?host=http://www.vizu.ru , остальные странице замечательно индексируются, вот http://www.yandex.ru/yandsearch?serverurl=www.vizu.ru.

Как разрешить для сайта kolazko.ru индексацию (не пойму, где она запрещена?

Сорри что влезаю ;) Не могу сказать что мой сайт яндекс не индексирует, но за несколько месяцев проиндексированы далеко не все страницы. Вопрос по сути такой, зависит ли интенсивность пожирания страниц ботами яндекса от количества проставленных на сайт ссылок? Спрашиваю потому что с Яндексом только начинаю работать, а в гугле такая зависимость судя по всему есть. Думаю и в Я нечто подобное есть, вопрос насколько сильно зависит интенсивность бота от количества ссылок на сайт?

У вас там как основной домен прописано www.kolazko.ru с www, т.е. по сути вы запретили к индексации домен без www!

http://www.yandex.ru/cgi-bin/test-robots?host=www.kolazko.ru выдает что "Данный файл robots.txt ничего не запрещает"...

Вроде все гут... НО! Вот помню у меня был такой глюк, шо сайт без www тупо не работал (хостер галимый) а Яндекс решил почему-то что основной домен как раз без www, приходил на сайт без www, естественно получал 404 и уходил... и так пока хостера не сменили...

Я вот подумал, вот опять Я решит что основной домен сайта без www, а в robots.txt host'ом будет прописан сайт с www, опять будет неразрешимая дилема!!? Или все будет путем? Может гуру к нам зайдут на огонек и все расскажут!? :)

Кому интересно, а также для тех, у кого подобные проблемы сообщаю:

Реальная причина, почем не индексируются страницы сайта в следующем:

некорректно настроен сервер - страницы из раздела www.kolazko.ru/main/ отдают ошибку 406, к примеру, вот

одна из них --

http://be1.ru/stat/?url=http%3A%2F%2Fwww.kolazko.ru%2Fmain%2F280.html

Так что осталось попросить разработчика сайта поправить и будет нам Счастье!

П.с. Всех с наступающим :)