Как ускорить индексацию?

Никак. Индексацию ускорить просто невозможно, можно увеличить количество приходов робота на сайт - чем больше ссылок на него, тем больше вероятность визита.

А robots.txt никак на это не повлияет.

И роботс.txt не правильный. Для каждой директории должна быть отдельная строчка Disallow.

Кстати, интересно, откуда был взят пример указанного неправильного robots.txt?

Незнаю!!! Програмист его сделал, а в мои функции в проекте, входит его удержание на плаву (по крайней мере на глубине до 100 м.

А как правильно?

<font face="Verdana" size="2">Originally posted by kzs:
Незнаю!!! Програмист его сделал, а в мои функции в проекте, входит его удержание на плаву (по крайней мере на глубине до 100 м.
А как правильно?</font>

User-agent: *

Disallow: /cgi-bin/

Disallow: /css/

Disallow: /images/

Программисту: http://www.robotstxt.org/

-------------------------------------------

Есть мнение, что робот Яндекса очень любит домен narod.ru, поэтому зарегистровава там сайт и кинув туда доорвей, можно несколько ускорить процесс. Хотя, по моим наблюдением, цикл работы робота Яндекса составляет порядка 2-х недель. У Апорта это в районе 3-х недель, а вот пока Рамблеру не просабмитишь, он не переиндексирует. Они сами честно пишут в советах для вебмастеров, что при любом изменении сайта рекомендуется перерегистрировать сайт. Дескать, индексировать не будем, пока не попросите.

Подобная дискуссия уже возникала на форуме дважды:

• Как ускорить индексацию?
• Обновление индексации

С уважением,

Александр Садовский.

Кстати Александр!

Я писал (в первой теме которую вы указали), что сайт мой индексируют с трудом... Аж в июле писал... Так что же Вы думаете? Ситуация сильно изменилась? По моим прикидкам ситуация изменилась в худшую сторону - если в июле было 4-5 тысяч страниц, то сейчас сайт застрял где-то на 8-9 вот уже как месяц(в Яндексе)... Может быть у них есть ограничение на кол-во страниц для определенных типов сайтов - например ИЦ такой-то не более 10000 страниц(к примеру)?

Для точной информации об этом нужно спрашивать Илью, хотя я считаю, что такое вполне возможно. Даже в известной статье про PageRank ("The PageRank Citation Ranking:

Bringing Order to the Web") говорится:

In [CGMP98] we explore the issue of how to crawl the web efficiently, trying to crawl better documents first. We found on tests of the Stanford web that PageRank is a better predictor of future citation counts than citation counts themselves.
[...]
The optimal order is to crawl pages in exactly the order of their rank according to an evaluation function.

С уважением,

Александр Садовский.