Пропадание страниц из Яндекса

Как известно, яндекс раз в два-три дня выкладывает новый большой индекс

Файлы, добавленные через addurl, могут при этом удаляться по нескольким причинам:

1. Сработал автоматический (анти-спамовый, анти-мусорный, анти-нечеткозеркальный) скрипт

2. Сайт вручную запрещен к индексированию

за спам администрацией

3. Различные технологические проблемы - временная нехватка места на диске для файлового кэша, сбои или задержки в процессе индексирования, в том числе связаные с профилактичекими процедурами

Илья Сегалович,

Яндекс

Илья, а если в процессе индексирования адрес будет повторно добавлен - это не будет считаться спамом?

Давно замечано, что лучше, когда Яндекс сам индексирует. На днях добавил через addurl index.html в надежде, что дальше Яндекс сам найдет и проиндексирует... в итоге пришлось все делать вручную

Если честно, то яндекс совсем не фильтрует, то что называется спамом. А страницы всё равно пропадают, потом снова появляются... возникает ощущение что там, по крайней мере, 2 яндекса и их действия плохо скоординированы меж собой

кадется представители яндекса уже раз'ясняли этот феномен

база яндекса разнесена по десятку разных серверов, и в случае большой нагрузки ответ может быть получен не от всех машин, поэтому в разное время может быть разный результат запроса

а возможно я и ошибаюсь

Со спамом дела пожалуй плохо обстоят, недавно попалась страница (если не ошибаюсь по запросу туризм), находится достаточно высоко - 'туризм' упоминается ужасное кол-во раз на самом верху и еще внизу и скрыто под цвет фона. Вот!

Со спамом дела точно неважнецкие.

Например запрос к Яндексу

"расписание поездов киевский вокзал"

- получаем на втором месте страницу с совершенно неподходящим заглавием и с полным набором высокочастотных слов, т.е. самых популярных. Причём ими забиты Meta keywords (слово "crack" - 40 раз), а в Body "расписание" встречается 800 раз!. Разумеется, всё написано цветом фона, а в центре стоит яркий линк: ENTER. Спасибо, хоть редиректа нет . Где-то читал, что буржуйские поисковики такое даже не индексируют, экономят свои ресурсы и осторожно относятся вообще к большим документам, а Яндекс - пожалуйста. Вот где ещё скрытые резервы . Конечно, можно найти более вопиющие примеры, а это - из жизни. Завершая за здравие, начиная с третьего места - ссылки исключительно по теме запроса.

2 Kost

Ты посмотри какие страницы google вываливает на первом месте по популярным запросам !!!

так что, Яндекс, на мой взгляд, не сильно выделяется на общем фоне

Было. Страница нормально проиндексировалась, около суток была в результатах, а затем совсем исчезла из поиска, включая даже поиск по #url. Причем при попытке добавить повторно Яндекс сообщал, что уже знает эту страницу и в ближайшее время ее проиндексирует. Возникает вопрос: что же он делал с ней первый раз?

А была и другая ситуация. Страница попала в базу, нормально находилась по 2-3 запросам (довольно редким). Но затем внезапно по одному из запросов исчезла из результатов поиска -- я не поленился и вечером просмотрел все 25 страниц результатов -- нет ее.

Илья, скажите, пожалуйста, как можно понять этот факт?

• Если бы Яндекс счел страницу спамом и удалил, он не выдавал бы ее по запросу и в течение суток после индексации. (По крайней мере, Вы когда-то упоминали, что Яндекс индексирует страницу сразу, значит предположение о "более тщательной" индексации тоже не годится.)
• Если бы страницу сочла спамом администрация, страница бы не показывалась по остальным запросам.
• Технические проблемы также маловероятны, так как результат запроса был устойчивый, а страница была точно проиндексирована.

Единственное предположение -- у Яндекса спамовый фильтр иногда действует выборочно по запросам, не удаляя страницу в целом, но исключая ее из результатов поиска (как стоп-слово) при определенных запросах.

С уважением,

Александр Садовский.

Честное слово, хочется видеть такие вопросы на форуме яндекса. Извините, что не всегда есть время и место подробно и оперативно отвечать, но мы стараемся.

Если можно, Александр, пошлите туда это письмо и прибавьте URL-ы о которых идет речь.

У меня появится формальный повод разобраться в деталях.

<font face="Verdana" size="2">Originally posted by funsad:
Было. Страница нормально проиндексировалась, около суток была в результатах, а затем совсем исчезла из поиска, включая даже поиск по #url. Причем при попытке добавить повторно Яндекс сообщал, что уже знает эту страницу и в ближайшее время ее проиндексирует. Возникает вопрос: что же он делал с ней первый раз?
</font>

Страница попала в базу "быстрого добавления" и в очередь на помещение в "большую базу".

Очень маловероятно, но возможно, что по одной из трех вышеуказанных причин (см выше) за очередной временной интервал (2-3 дня) она не успела попасть вовремя в большую базу.

Самая же распространенные причины, в реальности - ошибка 404 (от Вашшего сервера), или сбой в DNS, или Ваш сервер говорит что это не HTML, или еще десяток подобных.

А повторить запрос не пробовали? Сечас база разлита на полтора десятка компьютеров - может быть, как раз сервер с этой страничкой

отвалился и его долго поднимали по какой-нибудь причине.

Это бывает, крайне редко, но все-таки бывает.

Повторюсь - конкретный URL - конкретный ответ.

Это верно, спамовый фильтр, у нас пока не очень эффективный. Но такие мудрые вещи он не делает. И видимо никогда не будет.

С уважением,

Илья Сегалович,

Яндекс.