Политика изменилась, скрипты не успели...
Исправлено
тематический каталог (музыка)
Алиллуйя. Зашел бот I, забрал 250 страниц, все новые.
Вчера я руками поставил на удаление бОльшую часть того, что было известно яндексу, и руками поставил на добавление основные страницы новых подразделов.
И написал письмо в яндекс, ответа на которое не получил.
В письме говорилось о том, что сайт новостной и не забирать 2 месяца новые страницы плохо для этого сайта.
за четыре дня первый раз зашел робот "I", забрал robots.txt
Я более четко сформулировал свою проблему: яндекс не забирает новые страницы уже на протяжении 2-х месяцев.
Остальное нормально: хорошо обновляется (и находится в Я) то, что у него уже есть.
Есть какие-то идеи из-за чего такое может быть?
Любая свежая мысль очень поможет!...
это вы про яндексовский бот "I"?
wayfarer, у меня лог ротейтится каждодневно, заходов "I" вообще не видно. Я убрал ротейт, сразу скажу как появится.
Есть логи вебалайзера - в них не все, а только верхушки по разным параметрам.
Обратил внимания что до июля включительно роботы
ya-out.yandex.ru
ghad-out.yandex.ru
slovo-out.yandex.ru
забирали в месяц 3-5 тыщ страниц, а в августе их в вебалайзере вообще не видно. Т.е. меньше тысячи каждый забрал точно...
а в сентября slovo-out.yandex.ru уже сделал 717 хитов, но забрал только два файла на сумму в один килобайт (терминология вебалайзера).
И если весной соотношение hits к files было один к одному, то в июле уже 2 к одному. Очень похоже что начали работать not-modified (я их включил в начале лета), но работать как-то очень-очень неправильно :(((
Забыл сказать: главная страница обновляется каждые 5 минут (скриптом делается touch index.html)
Т.е. причина не в том что страница не обновляется и потому яндекс ее не забирает повторно. Да и он даже не пытается узнать менялась она или нет - забирает только robots.txt и кучу картинок.
Возможно, я намудрил в robots.txt, хотя очень внимательно его составлял. Но другие поисковики (рамблер, гугль, все остальные) нормально все смотрят...
ссылки на новые страницы в количестве есть на главной странице - сайт новостной. Ссылки "прямые" (чистым хтмл), ведут на статические страницы.
И еще: недавно (пару месяцев назад) появилось пару новых разделов, на эти разделы есть ссылка с каждой страницы сайта.Яндекс до сих пор не знает даже про главные страницы этих разделов.
Такое впечатление, что по какой-то причине Яндекс не хочет забирать ни одной новой страницы.
Может имеет таки смысл удалить из его базы пару страниц из тех что ему известны, в надежде что тогда он взамен возьмет новые?
я этого и добиваюсь - чтоб яндекс забыл про не столь существенные страницы в зачет более важным.
Но
а) в robots.txt закрыто далеко не все из того что ему было известно
б) он совершенно не ест новые страницы - вот что самое тревожное....
Я могу скриптом поудалять все страницы, которые ему известны и которые я не хотел бы чтоб были известны. Но опасаюсь что яндекс все равно не станет есть новые - если проблема в чем-то другом. И тогда трафик с яндекса вобще пропадет...
