Почему число страниц в поиске меньше числа страниц, загруженных роботом?

Nptns
На сайте с 17.09.2003
Offline
78
1372
Документ, известный роботу, может не попасть в результаты поиска, если он является дубликатом ранее найденной страницы, редиректит на другой URL или выдает ошибку, содержит поисковый спам, а также по иным причинам. Кроме того, страницы, проиндексированные совсем недавно, могут находиться в индексе, но еще не отображаться в структуре сайта.
http://help.yandex.ru/webmaster/?id=995301#995383

Замечаю постоянное падение количества проиндексированных страниц в Sape и все больше склоняюсь к мысли, что Яndex, отследив каким-либо способом блоки ссылок на внутренних страницах, выкидывает их из ранжирования и индекса (даже если эти страницы содержали уникальный текст или относительно любой полезный текст). Хотелось бы услышать подтверждения или опровержения данной теории...

В качестве примера - есть сайт (не буду светить), в тулзе вебмастера показывается проиндексированных ~200000 страниц, а на url="www.site.ru*" около 10. Грубо говоря 198000 страниц - это форум (бог с ним), остальные 2000 - контент сайта. На этих 2000 (технически страницы отдаются хорошо) продаются внутренние и от них осталось в выдаче 10 (возможно) из-за блоков ссылок (5 макс.)...

OZE
На сайте с 21.05.2006
Offline
102
OZE
#1

попробуйте ставить сапу не блоками, а ссылками по одной и по тексту

+ надо правильно обрабатывать 404 ошибку, точнее выдавать ее, когда это действительно нужно

Nptns
На сайте с 17.09.2003
Offline
78
#2
OZE:
попробуйте ставить сапу не блоками, а ссылками по одной и по тексту

т.е. вы подтверждаете (основываясь на ваших наблюдениях), что даже нормальные страницы из-за блоков ссылок выкидываются из результатов поиска?

Интересует не борьба с удалением страниц, а достоверность факта удаления страниц из-за ссылок...

P.S.: с 404, 200, 302, 301, LastMod-d и т.п. все норм

OZE
На сайте с 21.05.2006
Offline
102
OZE
#3

ну есть такое мнение, что проверяются два урла: /path1/ и /path1/?adfsadfsdf

если есть различия во внешних ссылках - значит продаются

т.е. в варианте 2, когда в QS что-то левое пишется, надо выдавать 404 (и не дубликат, именно 404, т.к. дубликат тоже не есть гут)

все это имхо, и конкуренты тоже читают форум, так что я замолкаю :)

!!-=Andrey=-!!
На сайте с 12.08.2007
Offline
89
#4
Nptns:
Интересует не борьба с удалением страниц, а достоверность факта удаления страниц из-за ссылок...

Этого на 100% никто кроме яндекса не знает, но предпосылки для таких выводов на своих сайтах видел, уменьшил кол-во ссылок разделил оставшиеся(плюс по разделам раскидал по разным местам страницы) - резко возросло кол-во проиндексированных страниц

Nptns
На сайте с 17.09.2003
Offline
78
#5

!!-=Andrey=-!!, спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий