supplemental index

Не стоит доверять гуглу, когда он показывает количество страниц по site. Как-то обратил внимание, что на домене, на котором находилось ровно 10K статики он смело показывал что в индексе 15K страниц.

На самом деле вопрос с мусором довольно серьёзный. Мусор - это страницы исключённые из поиска. Такие страницы могут и показываться по /& и не показываться по /&. Как их отсеять даже из первой тысячи, мне не известно. Думаю что и ни кому не известно. Сниму шляпу и низко поклонюсь в ноги тому, кто смог бы рассказать как это сделать.

Странно откуда тогда берутся цифры. WMT тоже верить нельзя. Получается никому нельзя, как же ж следить за сайтом..

У себя еще кроме мусора могу подумать на то что менялось много урлов (301 со старых) и они не успели склеиться, хотя все равно что-то многовато..

Может это число загруженных роботом страниц а не кол-во в индексе? На это кстати больше похоже.

Не утверждаю, но возможно бот считает ссылки на страницы, и не всегда успевает оперативно склеить ссылки с разных страниц на одни и те же страницы.

такая же проблема... на сайте проиндексил откуда-то почти 3 мио страниц, с 170к. Траф падает. Откуда они и что это за страницы не могу понять, толи ошибки программеров, толи... Отсеивал страницы всеми известными мне вариантами site с inurl и тд., но так и не увидел мусор.

Раньше inurl выдавал только те страницы, которые есть в поиске. Всегда пользовался им. Теперь и он выдаёт мусор.

это да, я просто чтобы найти мусор в индексе, делал что-то типа "site:seite.tld -inurl:", выяснил заодно, что больше 35 inurl проверить нельзя)