Если на сайт добавлялись новые страницы, то попробуйте их закинуть в Яндекс ручками, может встряхнете робота в сторону своего сайта. Уже больше месяца Яндекс очень вяло переиндексирует именно главные страницы, хотя, может быть это только мне не везет. :(
Alex Kirillin, а что такое "простая релевантность страниц"?
Bboy, а Вы не путаете индексацию и апдейт базы?
Кстати, robots.txt у Вас неправильно написан, исправьте:
User-agent: *
Disallow: /default.css
Disallow: /404.html
По-моему, вторая строчка лишняя, да и третья не понадобится, если на страницу с сообщением о 404-й ошибке нет прямых ссылок, так что можно оставить один пустой Disallow: ;)
Существует у Рамблера, работает автоматически, без вмешательства человека.
Это говорит о том, что сайт неплохой, раз без каталога заработал себе тИЦ=200. А еще говорит, что у модераторов полтора года не доходят руки добавить сайт, который, вероятно, достоин в каталоге быть.
Насколько я помню, это вариант для Яндекса, а Рамблер мета-теги вообще не учитывает.
В своих скриптах можно добавить одну переменную, которая будет говорить, работает mod_rewrite или нет (1|0). Закрываете сайт от индексации. Все отлаживаете, запускаете, проверяете работу скриптов. Затем пишете правила для mod_rewrite. Отправляете их хостеру для проверки и подключения. После подключения перекидываете переменную. Открываете сайт для индексации.
А вообще я согласен с temofey, кривые скрипты тоже могут сервер вешать, так не отключать же еще их.
ИМХО, лучше обойтись тем, что есть, в некоторых случаях можно статику и не прикручивать, сейчас все основные поисковики динамику нормально индексируют. ;)
А вот хостеру все-таки минус -- прикрутить к Апачу модуль для нормального админа не бог весть какая задача, еси хостинг на юниксе.
Прокси бывают еще и прозрачные, провайдеры часто балуются такими вещами, чтобы экономить трафик. Есть еще такая штука, как веб-акселератор -- это тот же прокси, только сразу перед веб-сервером, а не перед пользователем, я сталкивался -- вещь преотвратная! 😡
Кстати, у Яндекса и стоит подобный акселератор, который кеширует SERP.
Ну и остается еще кеш браузера, разные браузеры по разному работают со своими кешами.
Чтобы не происходило кеширования, надо выдавать максимум HTTP-заголовков, в которых указывать, что это уже не тот документ, что раньше. Здесь, как раз, может помочь выдача Last-Modified с текущей датой, да еще дописать Cache-Control, только не в мета-тегах, а в заголовках!
Присоединяюсь к поздравлениям!
Всего наилучшего!
EvgRen как раз понимает, что и как. Именно на этом форуме неоднократно обсуждался вопрос, что есть заголовок if-modified-since и как он влияет на индексацию.
