Если на сайт добавлялись новые страницы, то попробуйте их закинуть в Яндекс ручками, может встряхнете робота в сторону своего сайта. Уже больше месяца Яндекс очень вяло переиндексирует именно главные страницы, хотя, может быть это только мне не везет. :(
Кстати, robots.txt у Вас неправильно написан, исправьте:
User-agent: *
Disallow: /default.css
Disallow: /404.html
По-моему, вторая строчка лишняя, да и третья не понадобится, если на страницу с сообщением о 404-й ошибке нет прямых ссылок, так что можно оставить один пустой Disallow: ;)
Подскажите , существует ли у поисковиков практика частичного бана (понижения в выдаче), за что она применяется и как определить , что это произошло?
Существует у Рамблера, работает автоматически, без вмешательства человека.
Например если за 1,5 года существования и ИЦ=200 сайт ещё не в ЯК, то это о чём-нибудь говорит?
Это говорит о том, что сайт неплохой, раз без каталога заработал себе тИЦ=200. А еще говорит, что у модераторов полтора года не доходят руки добавить сайт, который, вероятно, достоин в каталоге быть.
Cherny, mod_rewrite подключен, есть возможность директивы задавать в конфигурации виртуального сервера, а не в .htaccess.
В своих скриптах можно добавить одну переменную, которая будет говорить, работает mod_rewrite или нет (1|0). Закрываете сайт от индексации. Все отлаживаете, запускаете, проверяете работу скриптов. Затем пишете правила для mod_rewrite. Отправляете их хостеру для проверки и подключения. После подключения перекидываете переменную. Открываете сайт для индексации.
А вообще я согласен с temofey, кривые скрипты тоже могут сервер вешать, так не отключать же еще их.
Посоветуйте, что лучше в данной ситуации более дорогой и гиморойный тариф с mod_rewrite или делать разбор URL для определения переменных?
ИМХО, лучше обойтись тем, что есть, в некоторых случаях можно статику и не прикручивать, сейчас все основные поисковики динамику нормально индексируют. ;)
А вот хостеру все-таки минус -- прикрутить к Апачу модуль для нормального админа не бог весть какая задача, еси хостинг на юниксе.
Прокси бывают еще и прозрачные, провайдеры часто балуются такими вещами, чтобы экономить трафик. Есть еще такая штука, как веб-акселератор -- это тот же прокси, только сразу перед веб-сервером, а не перед пользователем, я сталкивался -- вещь преотвратная! 😡
Кстати, у Яндекса и стоит подобный акселератор, который кеширует SERP.
Ну и остается еще кеш браузера, разные браузеры по разному работают со своими кешами.
Чтобы не происходило кеширования, надо выдавать максимум HTTP-заголовков, в которых указывать, что это уже не тот документ, что раньше. Здесь, как раз, может помочь выдача Last-Modified с текущей датой, да еще дописать Cache-Control, только не в мета-тегах, а в заголовках!
Как мужчины любят казаться умнее, чем они есть на самом деле! )) Ты сам-то понимаешь что такое этот if-modified-since????
EvgRen как раз понимает, что и как. Именно на этом форуме неоднократно обсуждался вопрос, что есть заголовок if-modified-since и как он влияет на индексацию.
Если на сайт добавлялись новые страницы, то попробуйте их закинуть в Яндекс ручками, может встряхнете робота в сторону своего сайта. Уже больше месяца Яндекс очень вяло переиндексирует именно главные страницы, хотя, может быть это только мне не везет. :(
Alex Kirillin, а что такое "простая релевантность страниц"?
Bboy, а Вы не путаете индексацию и апдейт базы?
Кстати, robots.txt у Вас неправильно написан, исправьте:
User-agent: *
Disallow: /default.css
Disallow: /404.html
По-моему, вторая строчка лишняя, да и третья не понадобится, если на страницу с сообщением о 404-й ошибке нет прямых ссылок, так что можно оставить один пустой Disallow: ;)
Существует у Рамблера, работает автоматически, без вмешательства человека.
Это говорит о том, что сайт неплохой, раз без каталога заработал себе тИЦ=200. А еще говорит, что у модераторов полтора года не доходят руки добавить сайт, который, вероятно, достоин в каталоге быть.
Насколько я помню, это вариант для Яндекса, а Рамблер мета-теги вообще не учитывает.
В своих скриптах можно добавить одну переменную, которая будет говорить, работает mod_rewrite или нет (1|0). Закрываете сайт от индексации. Все отлаживаете, запускаете, проверяете работу скриптов. Затем пишете правила для mod_rewrite. Отправляете их хостеру для проверки и подключения. После подключения перекидываете переменную. Открываете сайт для индексации.
А вообще я согласен с temofey, кривые скрипты тоже могут сервер вешать, так не отключать же еще их.
ИМХО, лучше обойтись тем, что есть, в некоторых случаях можно статику и не прикручивать, сейчас все основные поисковики динамику нормально индексируют. ;)
А вот хостеру все-таки минус -- прикрутить к Апачу модуль для нормального админа не бог весть какая задача, еси хостинг на юниксе.
Прокси бывают еще и прозрачные, провайдеры часто балуются такими вещами, чтобы экономить трафик. Есть еще такая штука, как веб-акселератор -- это тот же прокси, только сразу перед веб-сервером, а не перед пользователем, я сталкивался -- вещь преотвратная! 😡
Кстати, у Яндекса и стоит подобный акселератор, который кеширует SERP.
Ну и остается еще кеш браузера, разные браузеры по разному работают со своими кешами.
Чтобы не происходило кеширования, надо выдавать максимум HTTP-заголовков, в которых указывать, что это уже не тот документ, что раньше. Здесь, как раз, может помочь выдача Last-Modified с текущей датой, да еще дописать Cache-Control, только не в мета-тегах, а в заголовках!
Присоединяюсь к поздравлениям!
Всего наилучшего!
EvgRen как раз понимает, что и как. Именно на этом форуме неоднократно обсуждался вопрос, что есть заголовок if-modified-since и как он влияет на индексацию.