Результаты случайного эксперемента

Начну не с главного.

В чем случайность? - Так в том, что эксперемент делать и не планировал, а как получилось - у меня как и у всех начинающих оптимизаторов - оптимизация сводится - день 2 читаю форумы, статьи, сделал изменение и 2 недели сижу у статистики - с ожиданием - ну когдаже посещаемость начнет расти? из-за этого большинство апов наблюдаю по ходу действий - видя сколько и каких забирает яша страниц, что происходит с серпом и т.д (у меня одни НЧ)

А теперь что я заметил.

1. (может баян) для яндекса страница

www.сайт.ru/?id=2533

и

www.сайт.ru/index.php/?id=2533

- разные страницы и их обе копии находятся в индексе

без индекс

http://hghltd.yandex.com/yandbtm?url=http%3A%2F%2Fwww.mr-twister.ru%2F%3Fname%3Dgetall%26showit%3D46834&text=%DD%F2%E8%EA%E5%F2%EE%F7%ED%FB%E9%20ROLL-FED%20%E0%E2%F2%EE%EC%E0%F215000%20%F8%F2%2F%F7%E0%20%CF%F0%E5%E4%EB%E0%E3%E0%E5%EC%20%E2%FB%F1%EE%EA%EE%EF%F0%EE%E8%E7%E2%EE%E4%E8%F2%20%C4%EE%F1%EA%E0&reqtext=(%DD%F2%E8%EA%E5%F2%EE%F7%ED%FB%E9%3A%3A3700204%20%26%20ROLL%3A%3A50757%20%26%2F(1%201)%20FED%3A%3A79866%20%26%26%20%E0%E2%F2%EE%EC%E0%F215000%3A%3A1819103916%20%26%26%20%F8%F2%3A%3A3740%20%26%2F(1%201)%20%F7%E0%3A%3A286342%20%26%26%20%CF%F0%E5%E4%EB%E0%E3%E0%E5%EC%3A%3A16220%20%26%26%20%E2%FB%F1%EE%EA%EE%EF%F0%EE%E8%E7%E2%EE%E4%E8%F2%3A%3A1819103916%20%26%26%20%C4%EE%F1%EA%E0%3A%3A9872)%2F%2F6&dsn=647&d=2250645&sh=0&sg=28&isu=1

с индекс

http://hghltd.yandex.com/yandbtm?url=http%3A%2F%2Fwww.mr-twister.ru%2Findex.php%3Fname%3Dgetall%26showit%3D46834&text=%DD%F2%E8%EA%E5%F2%EE%F7%ED%FB%E9%20ROLL-FED%20%E0%E2%F2%EE%EC%E0%F215000%20%F8%F2%2F%F7%E0%20%CF%F0%E5%E4%EB%E0%E3%E0%E5%EC%20%E2%FB%F1%EE%EA%EE%EF%F0%EE%E8%E7%E2%EE%E4%E8%F2%20%C4%EE%F1%EA%E0&reqtext=(%DD%F2%E8%EA%E5%F2%EE%F7%ED%FB%E9%3A%3A3700204%20%26%20ROLL%3A%3A50757%20%26%2F(1%201)%20FED%3A%3A79866%20%26%26%20%E0%E2%F2%EE%EC%E0%F215000%3A%3A1819103916%20%26%26%20%F8%F2%3A%3A3740%20%26%2F(1%201)%20%F7%E0%3A%3A286342%20%26%26%20%CF%F0%E5%E4%EB%E0%E3%E0%E5%EC%3A%3A16220%20%26%26%20%E2%FB%F1%EE%EA%EE%EF%F0%EE%E8%E7%E2%EE%E4%E8%F2%3A%3A1819103916%20%26%26%20%C4%EE%F1%EA%E0%3A%3A9872)%2F%2F6&dsn=647&d=2250645&sh=0&sg=28&isu=1

(Кстати опять начала сыпаться часто Internal error)

2. Пока идет АП яндекс продалжает собирать новые страницы и добавлять их в индекс (без вывода в серп - в серп закидывает по окончанию АП-та), из этого было замечено!! ИМХО у яндекса есть некий коэфициент, который присваевается всему сайту и участвует при расчете позиции в серпе по некой функции

f(x)=(все остальные коэфициенты и условия)*(Xкоэфициент/кол-во страниц в серпе)

как это было замечено? - у меня на сайте много страниц и заходят на него только по НЧ эти НЧ растут в позициях по серпу!! (даже если после окончания АП-та могут вылететь, или до начала АП-та вообще не попадали в видимую область серпа) во время АП-та - пока не появятся страницы в

http://www.yandex.ru/yandpage?&q=8061919&p=25&qs=serverurl

и в момент их появления в серпе слетают все позиции, которые были набраны с момента старта АП-та.

Также это было подтверждено моментами когда из серпа пропадали страницы - тысяч 10 (появлялись обратно во время следующего АП-а)

вот тут могут возразить - фигня! - наоборот позиции падают! НО! на сайте отсутствует грамотная перелинковка + динамически создается XML карта которую яндекс жрет все время (в месяц по 18Гб трафа только с файла XML карты - 80% всего трафа сайта!) а в ней не указаны внутренние страницы так скажем динамические (тоесть списков объявлений нет, а только страницы самих объявлений, вот именно эти страницы в серпе и присутстсвуют), поэтому фактором внутренней передачи веса и ссылочного ранжирования можно пренебреч. И как раз в моменты вылета больших объемов страниц, по серпу сильно в верх поднимаются все НЧ (10-90 позиций +) благодаря этому траф на сайт возрастает на 30-40% (а я раньше ломал голову ну с чем связаны такие скачки раз в неделю, а иногда раз в 3 недели)

Теперь осталось главное - придумать как набрать в индексе 1000000 страниц и выкинть их от туда (не удалить, а отцепить кластер на котором они лежат) и оставить 1ну страницу.

Ваши мысли? по моим наблюдениям?