поисковик вообще реагирует на что-либо?

А в логах что видно?

Tanys,

Я обращался в Яндекс с таким же вопросом, получил ответ, привожу его ниже:

Добрый день.

Индексирование вашего сайта осуществляется в нормальном рабочем

режиме в соответствии с собственной структурой и размерами.

В общем случае все сайты индексируется на равных основаниях.

Однако, чем меньше сервер, тем быстрее и чаще робот его обходит.

Владельцам больших сайтов следует иметь в виду, что любая поисковая

система имеет отчасти архивный характер. Яндекс не будет индексировать

ваш сайт быстрее или чаще других. Полезной для вашего сайта окажется

информация на странице http://www.yandex.ru/info/webmaster7.html

Можно оценить актуальность и информативность страниц, например таких -

http://www.riccom.ru/demand-sale.htm?id=215&order=8

http://www.riccom.ru/demand-sale.htm?id=215&order=3

для пользователя, ищущего конкретную информацию.

Чтобы активизировать актуальную составляющую сайта, рекомендуем

уменьшить его индексируемую базу, для чего -

а) закрыть от индексирования все неинформативные разделы (архивы, форумы,

статистику, иноязычные директории...) с помощью файла robots.txt,

б) правильно настроить сервер, с тем чтобы на удаленные страницы он

возвращал 404 ошибку, - тогда они будут автоматически и своевременно

удаляться из базы Яндекса.

очень стыдно... а где найти логи?

А хостинг-то где, бесплатный что-ли? Тогда наверное нигде.

нет не бесплатный, ясно, спасибо, буду наших допрашивать по этому вопросу

Цитата: должны быть доступны и иметь осмысленное содержание вне зависимости от сессий, cookies и прочих средств идентификации пользователя. Робот - это не человек, и он не поддерживает таких средств.

Любопытно Сегалович, Волож или Амелин поддерживают сессии, куки и проч. средства? А то я похоже себя проапгрейтить забыл :)

СЗОТ

А уменьшение сайта при помощи robots.txt весьма эффективно. Проверено на собственном опыте :)

Если я ни чего не попутал, то робот индексирует не весь сайт а только те старницы, на которые есть ссылки. Что хотел узнать, обязательно ли делать robot.txt или можно просто noindex-ом все ненужные страницы исключить из индексирования (если такие конечно есть)?

Если Вы имеете в виду тэг <noindex> -- его понимают только рамблер и яндекс. Можно для запрета конкретных страниц использовать <meta name="Robots" content="noindex">. Но через robots.txt и гибче, и удобнее.

Не совсем так :) - некоторые умудряются из своих баров инфу вытягивать :)

а что и откуда вообще в эти логи пишется? можно посмотреть на типичный образец такого лога?