Чистки базы?

Вот к этому я изначально и скланялся, так как 3 моих не оч. больших сайта потеряри за последние 2 недели по 2-4 стр., (видимо чем больше у сайта стр. тем явнее это проявляеться). Да и на форуме часто появляються топики о вылете страниц из поиска, хоть в основнм и говорят о главных (видимо за остальными мене пристально следят).

Нет, пойми, я даже свое предположение могу опровергнуть! Суть в том, что это явление надо рассматривать, и любые - даже самые бредовые, предпроложения надо рассматривать и здоровой критикой бить!

kittenk, я же не говорю,что абсолютно уверен, я говорю, что только склоняюсь к этому варианту :)

сегодня вылетело около 50 т. страниц

не думаю что выпадание кластера, по скольку, как уменьшилось значение, так и не изменялось.

Моя версия:

По-моему нельзя сбрасывать со счетов новых роботов,

которые по некоторым признакам могут удалять страницы из базы автоматически.

Про некоторые критерии отсева уже говорили пострадавшие, о других видимо еще предстоит узнать.

По времени появление новых пауков (а возможно и частичная замена кода у старых) практически совпадает с массовым вылетом страниц у участников форума.

Бред. Единственный повод по которому можно выкинуть страницу из индекса - это вывод 404й ошибки на протяжении некоторого времени(ну может еще если это ссылкопомойка на 5-10к ссылок). "Критерии отсева" - повод для пессимизации/бана.. а не для выпадания страниц.. - имхо это просто глюки.

По поводу того что роботы удаляют страницы из базы.. ((-:

Это конечно хорошая задача - чистить базу, минимизировать размеры, ускорить поиск.. но при этом и КПД поисковика уменьшается.. Чистить базу - это дело пока не для роботов.

Хе, а если поисковик выдает кучу 404-ых страниц или помоек или дорвеев в выдаче, от этого КПД повышается? По моему, наоборот.

kittenk, Ну ZomBeer сказал же

ZomBeer,

Вот я тоже так думал, пока с addurl не ответили

как вы думаете как может робот автоматически отличить ссылкопомойку от навигации, если в обоих случаях кол-во ссылок одинаковое,

скажем по 300?

Линкопомойка не повторяется на всех страницах сайта.