Вот здесь тоже можно почитать по поводу ранжирования: http://habrahabr.ru/blogs/searchengines/110519/
Посмотрели логи, основной робот ходит в раздел /news/.
По поводу ответа сервера - то также, робот Яндеса получает ответ "200 OK" на запрос раздела новостей. Проблема не в этом.
Сайтмап есть? Не индексирует только Яндекс?
Просто с Яндекса написали следующее :) :
Мы проверили, Ваш сайт присутствует в поиске и находится пользователями. Но часть страниц, действительно, отсутствует в результатах поиска, при этом никаких санкций на них не наложено.
Наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в результаты поиска попадают наиболее релевантные и уникальные страницы сайтов:
http://help.yandex.ru/webmaster/?id=1114408
11 страниц в поиске это только каталог новостей /news/, все остальные разделы сайта индексируются и попадают в основную базу на "ура". Всего в выдаче больше 3 тыс. страниц.
Почему же тогда нет новостей в индексе, которые были добавлены месяц назад? Которые также были успешно проиндексированы быстроботом.
onsmi добавил 13.09.2011 в 11:26
На данный момент в индексе всего 11 страниц (новости, которые добавлены за последние сутки примерно), из сотни ранее проиндексированных быстроботом. Сомневаюсь, что они снова попадут в выдачу.
А как же страницы в выдаче хранятся продолжительное время, например, у aif.ru. Раздел новости - http://yandex.ru/yandsearch?text=url%3Awww.aif.ru%2Fnews*+|+url%3Aaif.ru%2Fnews*&lr=43
Казалось бы, обычные новости, но вот в выдаче остаются очень долго. Это из-за траста ресурса?
Как раз с быстроботом все понятно - он приходит после добавления статьи, индексирует и страница в серпе. Но вопрос, почему страницы в выдаче не живут больше 3-4 дней?