Перевес проиндексированных гуглом страниц

Командой site: - https://www.google.ru/search?hl=en&q=site:searchengines.guru&btnG=Search&gws_rd=cr&ei=yVFbWfG0A6ug6ATvuoioCQ

Вот тут тоже интересный вопрос, в консоли вебмастера 300+ к страниц, с помощью оператора site: вижу что их 97к. У нас на форуме читала, что смотреть надо на те цифры, которые в вебмастере гугла. И как быть? 97к - это тоже много, но при беглом просмотре первых 5-7 страниц выдачи лишнего там ничего нет, как найти дубли и т п в гугле?

А вы не пробовали просто собрать все страницы сайта, найти дубли по метатегам или другим параметрам страниц и закрыть их? Возможно что-то пропустили

Как вариант, прокраулить весь сайт специальной программой. Screaming Frog SEO Spider как вариант. Сколько страниц она обнаружит

Elparmus, как вариант, зайти в Яндекс.Вебмастер в раздел Индексирование - Страницы в поиске. Вот там, скорее всего, и будет показано, что у вас на сайте за 300 тысяч страниц.

я пишу в первом сообщении, что в вебмастере яндекса у меня правильное количество страниц, столько, сколько я хочу показать - 13 тыс, в консоли гугла 300+тыс страниц, если просто в гугле с оператором site: пробить, то 97к. Вот я и пытаюсь понять, что с гуглом. Яндекс в порядке.

Именно проиндексированных или страниц в поиске? Если в поиске, то это не то. Вы посмотрите, сколько проиндексировано (вкладка "Исключённые").

в ЯВМ сколько загруженных?

выгружаем все что смог найти бот Яндекса, смотрим статус по страницам и причины их не включения в индекс, группируем и получаем выборку того, что могло попасть в индекс

либо пробивать платным ПО собранные страницы сайта и уже работать на основе этого

В яндексе 13000 страниц в поиске и ок 1000 исключенных. Раньше, сразу после изменений в файле роботс, исключенных было 4 млн страниц, но сейчас график отполз в сторону и я вижу только тысячу исключеных и 13 000 в поиске.

А какое платное то можно использовать?

Я даже не могла подумать, что это такая закрытая инфа.

---------- Добавлено 05.07.2017 в 13:44 ----------

выше ответила. Я подозреваю, что робот гугла не отреагировал на запрет в файле роботс, но почему? и как его заставить принять мои условия? вы не знаете способ, как можно вытащить список проиндексированных страниц гуглом, страницы в поиске, я так понимаю. нам показывает оператор site:

я проверяю кей коллектором, но обычно не более 1500 страниц

для робота гугла robots - рекомендация (по официальному факу гугла)

можете попробовать через каноникал или параметры - https://support.google.com/webmasters/answer/6080550