Темы про АГС ... а может хватит ?

Серьёзно. Каждый раз на форуме поднимаются десятки тем, посвященные АГС. И снова одно по одному, то кто-то вопрошает, "Может это АГС", кто-то с умным видом говорит об "изменениях в алгоритме". И дальше больше, при этом большинство действуем по факту случившегося, без анализа прошедшего. Вывалились страницы из индекса. Ай-яй-яй, ой-ёй-ёй ... и тут же начинается вопрос "почему". А я тоже хочу спросить, "почему Вы не наблюдаете за своими сайтами всё время ?". Яндекс дал в помощь хороший инструмент как панель ВМ. Кроме факта, расскажите о том, что видели. А то неделями не смотрят за тем, что происходит, а потом ВАХ.

Всё ниже сказанное основывается на том, что сам наблюдаю и делаю. Ведь если посмотреть на работу Яндекса с сайтом, то всё достаточно несложно. По крайне мере для своих сайтов наблюдаю три подхода от поисковой системы :

1 - Тупое считывание страниц.

2 - Добавление страниц в индекс

3 - Анализ контента страниц и выброс их из индекса.

Если Ваш сайт динамичный, т.е. пополняется чем-то и часто, то этот процесс очень сильно заметен, если нет, то нет. Так вот алгоритм АГС входит в 3-ю фазу анализа контента. По сути Яндекс страницы сначала запихивает в индекс, а через некоторое время начинает их выбрасывать.

Итак причины выброса страниц, которые наблюдаю я у себя.

- Страницы с одинаковым контентом.

Смена движка, или например URL с SID и т.д. Я например переписывал движок и один и тот же контент оказался на разных страницах. Сначала в индексе были и те и те страницы, потом из индекса стали выбрасывать старые страницы, так как на сайте уже не было внутренних ссылок на эти страницы. Но, как только ради эксперимента я поставил 2-3 ссылки на страницы со старым URL, страницы вернулись в индекс, но не надолго. Через время они унеслись в даль и больше уже не возвращались.

- Дублирование контента или части контента на других страницах сайта.

Критическую массу дубляжа не знаю, но на примере блога или доски объявлений покажу как действует. Есть доска объявлений, где пользователи пишут объявлений и они выстраиваются от новых к старым. Всё обычно. Простая лента. Но так как на одной странице всегда небольшое кол-во объявлений, то ес-но они смещаются со временем. И однажды наступает момент, когда объявления, с первой страницы переехали на вторую. И вот тут происходит выброс одной из страниц из индекса, так как страница два своим содержанием начинает дублировать уже существующую страницу в индексе. Тоже самое и с блогами. Однажды страница два становится похожа на страницу 1, так как новые посты сместили старые на вторую и страница вылетает из индекса. Такое возможно только если скорость входа страниц в индекс не очень большая.

Кстати о скорости. Заметил связь между обновлением контента и появлении страниц в индексе. Т.е. даже если робот Яндекса заваливает к Вам каждый день, а страницы у Вас обновлялись нечасто, то на основании копии страниц и их отличии Яндекс принимает решение как часто добавлять Ваши страницы в индекс. Не приходить, а именно помещать их в индекс, ну и обновлять их в индексе тоже.

Предположу, что если части страниц тусуются туда сюда ( а это часто характерно для блогов, скажем при переходе по меткам), когда одни и теже посты то там, то сям висят, то шанс вылета всего сайта серьёзно повышается.

Ведь по сути страницы становятся идентичные друг друга, с точки зрения алгоритмов. В том же PHP, например, есть функция similar_text ( http://ru2.php.net/similar_text ), что уж говорить про алгоритмы Яндекса, который под микроскопом разглядывает контент. Ес-но если посты то там, то там, то общая уникальность страниц по отношению к друг другу снижается. В итоге АГС начинает принимать решения по вылетам.

-Соотношение страниц, дальность 2 и дальность 3

Тут наверняка не могу сказать, но если сайт не в Яндекс.Каталоге ( а этот фактор, как оказывается играет тоже роль) то можно дождаться санкций. Т.е. если страниц с уровнем кликов 3 от главной у Вас меньше, чем с уровнем 2, внимание от Яндекса Вам обеспечено однозначно.

-Количественное значение контента на странице.

Т.е. если на странице содержится 1-2 предложения, то страница в скорости обязательно вылетит из индекса. Опять же на примере своей доски объявления. Сначала идёт лента, а затем по ссылке идём на либо полный текст, либо повторение текста, но уже с контактами. Обычно это делают для повышения кол-во страниц и вообще увеличение поискового трафика.

В итоге картина такая, объявления влетали в индекс, а затем также вылетали. Оставались в индексе обычно объёмные объявления, где не 1-2 предложения, а поболее. Чтобы этого избежать, я сделал очень просто. По ссылке открывается объявление, а на основании ключевых слов этого объявления из базы данного раздела выбирается схожие по тематике объявления. Штук 5-10. Т.е. страница наполнилось контентом. И объявление перестали было вылетать, но как оказалось не всегда.

Рассмотрев страницы, которые вылетали обнаружил, что фактор (Дублирование контента или части контента на других страницах сайта. ) учитывается. И вылетевшие страницы действительно было похожи друг на друга по содержанию. Т.е. скажем из 5-ти объявлений, которые показывались 3 встречались на двух страницах но в разной последовательности. Такие страницы вылетели из индекса.

Итак, ко всему прочему добавлю. Уникальность контента не влияет на АГС, также как и наличие внешних ссылок. Уникальность, как фактор наличия в индексе, учитывается в рамках сайта.

Ну и конечно не буду исключать ситуацию с глюками. Это тоже есть, однако последнее время,их не особенно замечаю, по сравнению с ситуацией того года.