Почему гугл индексирует закрытые страницы

Коллеги, у меня ситуация интересней.

Гуглбот индексирует открытые посетителем страницы, которые, по идее, должен видеть только этот посетитель.

Пример. Клиент оплатил заказ и попал на спасибо-страницу, типа /thankyou?orderId=ab25a73b6a568b67ab37492659

Через некоторое время смотрю - на эту же страницу, со всеми параметрами, заходил гуглбот.

Страница /thankyou* закрыта в robots.txt

Предполагаю, что посетитель использует Chrome и Chrome гууглу этот url отдал, иначе у меня нет объяснений.

Кто нибудь в курсе откуда он их берет и как этому помешать?

Поставили <meta name="robots" content="noindex"> на все страницы, которые не должны быть в поиске. Открыли доступ для краулеров. Все правильно сделали?

Потом можно снова закрыть в роботсе, когда страницы выпадут из поиска? А то ведь насколько мы поняли ноиндекс учитывают не все роботы. Нам главное из гугла выпнуть дубли, ну и чтобы в яндексе они снова не появились.

Можно удалить адреса (страницы, папки) в вебмастерсе, страницы с сортировочными параметрами обозначить, как "не влияют", поставить, где нужно redirect 301, 302, ну и закрыть в роботсе. Гугл рекомендует, еси дело касается целого каталога, удалить урл-адреса, а потом в робт.тхт закрыть. Я так сделал, дубли за 1-2 месяца убрались уже на 2/3. Проверьте ещё корректность вашего файлика роботс.тхт, потому что при сканировании гугл выдаёт: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. " - и всё!!!! Если он выдаёт содержимое страницы в результатах, значит не то, что-то с Вашим файликом либо гуг ещё не успел обновить результаты, закрывать сразу надо было, теперь ждите.

Для несложных URL этого достаточно:

Читает и Яндекс и Google.

Сперва ссылки перестанут выдавать показы (будут находиться только по запросу site), потом со временем вообще исчезнут.

недостаточно, он всё равно туда полезет, если раньше такая страница существовала или раньше была ссылка с данным url

и изменить это поведение невозможно, так поступают абсолютно все поисковики :)

Ну полезет, ну получит 404 и всё, это нормально, так и должно быть. Но тут сразу возникает рекомендация гугла: 1) удалите ссылки, которые были поставлены на несуществующую страницу 2) если есть страница с похожим (или дублирующим) содержанием (той, что удалена), то нужно делать на неё редирект.

это нормально 1раз или 2, но не на протяжении нескольких лет,

а рекомендации писать конечно проще, чем настроить работу своих ботов :(

Вы не понимаете, что ссылка в индексе с показами и без показов - это совершенно разные вещи. Если вы что-то нашли через site, это ещё не значит, что оно есть для системы. Задача веб-мастера правильно передать сигнал, система поймёт, а визуально это может выглядеть как угодно. Например, в поиске можно найти источник 301 редиректа. Это нормально. Если занести в гск, можно увидеть, что на нём 0 показов.