некоторые наблюдения за выпадением - возможно это кому-то будет полезно :)

Это сайты , которые просили посмотреть коллеги (проблемы были по выпадению) и с форума.

И, я так понимаю, предположение о выпадении было увязано с неуникальностью контента? а как насчет контрольной группы к каждому этому сайту по таким напр. показателям как

• хостинг
• движок
• чпу

в количестве не менее 5-ти сайтов? если этого нет, то даже по 70 сайтам неправомерно выдвигать предположение о связи неуникальности контента и выпадения части страниц

м.б. такой вариант, при включении ЧПУ у сайта появляются новые страницы и робот просто их индексирует. Ведь старые (без ЧПУ) при этом не возвращаются в индекс, поскольку их уже не существует.

Или что-то происхолит иначе?

еще раз попробую обрисовать гипотезу: выпадение части страниц просиходит не по

• неуникального контента
• продажных ссылок
• наличия ЧПУ

но по причине каких-то особенностей робота\алгоритма, который таки считывает в любом случае положенное количество страниц, но не вносит их в индекс по какой-то причине в индекс. Игра с включением-выключением ЧПУ иногда приводит к тому, что сайт возвращается в индекс.

Т.е. - выпадение согласно предположению исключительно техническая причина, и скорее всего кроется в несовершенности сканирования(или алгоритма обработки) для сайтов на PHP.

PS (про "уникальность") ради показательного прикола такой факт - есть такой компонент на джумле - календарь. Типа ежедневника. Так вот на сайте, запущенном 2 м-ца назад робот нащупал его, и начал добавлять его страницы от апа к апу по 1000 примерно. Сейчас в индексе 5000 страниц месяцов и дней недели аж до 2150 года кажется :)

хтмл тоже выпдает. По ТИЦ нет связи? например все ниже 50ти?

Например: бэкапить такой мусор яше мощностей жалко, или религия (ну может управление БД) не позволяет. Легла база таких - хер с ней. Само естественным путем проиндексируется потом. Как тупой вариант. ЗАодно и выдача чище.

Извините, но ЛОГИ-то Web-сервера что показывают, в плане индексации роботом?

А здесь не путайте следствие с причиной!

Робот понимает только HTML-файл. И ему перпендикулярно, чем и из чего он сгенерирован.

Следовательно - проблемы не в роботе, а в работе ваших PHP-скриптов.

Вот Вам и пример бажности скриптов!

Откуда робот мог узнать другие URL страниц, если не со страниц генерируемых этим же бажным скриптом.

Имхо, ну не телепатические способности робота к этому привели... ;)

иногда лучше жевать, чем говорить.. выпадает по тицу..

логи показывают, что робот проходит по всем урлам регулярно и тщательно!

допустим, это так. Но тогда почему робот Google начисто лишен перпендикулярности и параллельности, отрабатывая все четко, ясно, безупречно? Он исходит из других принципов? Принципов геометрии Лобачевского?

Или бажности алгоритмов Яндекса? Когда есть, с чем сравнить, и это сравнение, увы не в пользу Яши. здесь сказать сложнее, ввиду отсуствия достаточного количества данных, но тоже есть подозрения, что что это не так. Море нулевых по параметрам сайтов успешно стоят в индексе при тех же условиях, что и выпадающие, более высокие.

orphelin, я всего лишь сделал допуск что база учитывает тиц при сегментации. И кусок базы с сайтами с низким ТИЦ навернулся. Где я неправ?

Кусок базы с низкорейтинговыми сайтами. Которым уделяется меньше внимания по принципк - ну и хрен с ними.

выпало несколько сайтов 2х тематик. тиц 100-200. контент 90% уникальный, 100 страниц на каждом, некоторые без сапы. в личку могу показать серьёзному человеку - обсудим.