Яндекс перестал забирать html-и

Вы конечно учли что, что если вы закрыли в роботсе что то, то Янд. обязательно их сотрёт из своей базы...

Т.е. он их не просто теперь не смотрит, для него их просто нет.

я этого и добиваюсь - чтоб яндекс забыл про не столь существенные страницы в зачет более важным.

Но

а) в robots.txt закрыто далеко не все из того что ему было известно

б) он совершенно не ест новые страницы - вот что самое тревожное....

Я могу скриптом поудалять все страницы, которые ему известны и которые я не хотел бы чтоб были известны. Но опасаюсь что яндекс все равно не станет есть новые - если проблема в чем-то другом. И тогда трафик с яндекса вобще пропадет...

тогда позаботьтесь о том, что бы яндекс видел ссылки на новые страницы (скорее всего редко переиндексируется страница их содержащая) ...

ссылки на новые страницы в количестве есть на главной странице - сайт новостной. Ссылки "прямые" (чистым хтмл), ведут на статические страницы.

И еще: недавно (пару месяцев назад) появилось пару новых разделов, на эти разделы есть ссылка с каждой страницы сайта.Яндекс до сих пор не знает даже про главные страницы этих разделов.

Такое впечатление, что по какой-то причине Яндекс не хочет забирать ни одной новой страницы.

Может имеет таки смысл удалить из его базы пару страниц из тех что ему известны, в надежде что тогда он взамен возьмет новые?

Забыл сказать: главная страница обновляется каждые 5 минут (скриптом делается touch index.html)

Т.е. причина не в том что страница не обновляется и потому яндекс ее не забирает повторно. Да и он даже не пытается узнать менялась она или нет - забирает только robots.txt и кучу картинок.

Возможно, я намудрил в robots.txt, хотя очень внимательно его составлял. Но другие поисковики (рамблер, гугль, все остальные) нормально все смотрят...

Не хочеться делать неправильных выводов, но... Пытаюсь зарегить сайт в яндексе. Каждый дено выдает: ваш сайт внесен в базу и скоро будет проиндексирован. Уже неделю. Короче не хочет индексить. Подозреваю что связано это с last-modified тоже.

Приходят какие-то странные боты: ya-out.yandex.ru - что это такое.

У меня тоже с Яндексом проблема... Смотрю "глазами Яндекс на страницы" - тайтл нормально выдается, а в результатах поиска стриница без тайтла. как это исправить???

Дата индексации (насколько я понимаю - это она) стоит за 06.11.2003...

Вопрос: почему яндекс не хочет переиндексировать главную страницу???? - это для меня загадка!!! И что делать? Просто ждать???

riderua, робот Р это картинщик и собирает он только картинки, а когда у Вас последний раз был робот I и что он смотрел?

wayfarer, у меня лог ротейтится каждодневно, заходов "I" вообще не видно. Я убрал ротейт, сразу скажу как появится.

Есть логи вебалайзера - в них не все, а только верхушки по разным параметрам.

Обратил внимания что до июля включительно роботы

ya-out.yandex.ru

ghad-out.yandex.ru

slovo-out.yandex.ru

забирали в месяц 3-5 тыщ страниц, а в августе их в вебалайзере вообще не видно. Т.е. меньше тысячи каждый забрал точно...

а в сентября slovo-out.yandex.ru уже сделал 717 хитов, но забрал только два файла на сумму в один килобайт (терминология вебалайзера).

И если весной соотношение hits к files было один к одному, то в июле уже 2 к одному. Очень похоже что начали работать not-modified (я их включил в начале лета), но работать как-то очень-очень неправильно :(((

за четыре дня первый раз зашел робот "I", забрал robots.txt

Я более четко сформулировал свою проблему: яндекс не забирает новые страницы уже на протяжении 2-х месяцев.

Остальное нормально: хорошо обновляется (и находится в Я) то, что у него уже есть.

Есть какие-то идеи из-за чего такое может быть?

Любая свежая мысль очень поможет!...