Как понять сколько страниц на самом деле в индексе Гугла?

Emili013
На сайте с 05.10.2007
Offline
118
717

Столкнулся тут с такой непонятностью:

По запросу site:mydomain.ru показывает, что в индексе - 344 страницы.

При этом, сервис проверки качества сайта supplemental.name (показывает сколько в соплях, сколько в основном индексе) говорит о том, что в индексе лишь 94 страницы (это число ниболее значимых страниц, без дублей, если смотреть выдачу вручную). Из этих 94 страниц в основном индексе 21% страниц.

Кроме того, обнаружил что в индексе (среди 344 страниц) есть страницы запрещенные в robots.txt (т.е. по запросу site:[запрещенный-в-роботсе-урл] показывается, что страница вроде как проиндексирована.

Кто-нибудь может пролить свет на данную ситуацию? А то получается, что есть основной индекс, сопли, и еще какой-то третий индекс в котором есть страницы даже запрещенные к индексации..

A
На сайте с 21.04.2009
Offline
59
#1
в индексе (среди 344 страниц) есть страницы запрещенные в robots.txt

значит robots.txt составлен не правильно. Или не читается гуглом. Или недавно менялся, а был другим.

Кто-нибудь может пролить свет на данную ситуацию?

ваще для гугла правильнее смотреть статистику переходов. То есть если на страницу переходили в течении месяца с гугла по поисковому запросу - значит страница в индексе. Если нет - то нет. Если переходили по точной цитате из 5 слов, то тоже нет в индексе этой страницы (ну обобщаю уже).

Emili013
На сайте с 05.10.2007
Offline
118
#2
azsx:
значит robots.txt составлен не правильно. Или не читается гуглом. Или недавно менялся, а был другим.

Думаю дело не в этом - правильность проверял через Google Webmaster Tools, он показывает что страницы запрещены в robots.txt и тем не менее через site:url они отображаются (правда без снипета). И такая ситуация почти со всеми моими сайтами. Менялся давно - где-то полгода назад.

R1
На сайте с 19.05.2010
Offline
18
#3

ну у меня такая же история.....Этот сервис качества сайта по моему вообще под настроение показывает......в вэбмастере у меня 68 страниц а на самом деле 330,переходы на сайт с разных страниц и даже с тех которых нет в основном индексе,так что по моему это норма видеть низкий % страниц,главное что переходы есть

Emili013
На сайте с 05.10.2007
Offline
118
#4

И такая ситуация не только с моими сайтами. Например у bdbd.ru (надеюсь никто не будет сомневаться в корректности их robots.txt), показывает (site:_ww.bdbd.ru) в индексе 488 страниц, без дублей - 193, из них в основном индексе - 81. Среди 488 страниц есть страницы для печати, хотя они совершенно точно запрещены в robots.txt.

Т.е. получается, что Гугл хранит в своем индексе абсолютно все страницы (которые может загрузить), но пускает в поиск лишь часть, и еще меньшую - в основной индекс.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий