Проиндексировано, несмотря на блокировку в файле robots.txt

Есть такой глюк у гугла. Через некоторое время он сам соображает что все норм. Я забил.

Отдать ответ 404 по шаблону URL.

Сейчас посмотрел на одном сайте, уже как год соображает и даже при учете принятых на том сайте всех мер, с гет параметром уже не существующего модуля на сайте до сих пор есть странички))

из последнего помню пришло сообщение это. 1 запрещенная страница попала в индекс. в выдаче по site: она полноценно была в индексе, через пару недель исчезла и теперь ее можно найти только кликнув на

Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (1).

и там пару страниц с пометкой: Информация об этой странице недоступна.

в общем ничего смертельного.

Если страниц много и подстраховаться на будущее. То можно пока поставить поиск плагином с вменяемыми урлами или генераций страницы искомого, в общем подобрать. А все прошлое отправить в 404. Не знаю есть плагины такого рода, что бы учитывать гет в урле, но можно и без плагина.

Типо того:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{QUERY_STRING} ^s=$ # тут я не проверял конечно, но что-то такое
RewriteRule ^(.*)$ - [R=404,L]
</IfModule>

Давненько. С полгода наверно. Думал, только у нас такая проблема

Я вот думаю родной поиск закрыть и поставить от гугла. 

Можно от гугла, если там у вас все ок с индексацией или плагином вменяемым, о чем выше писал. А прежние урлы в 404 отправить и все встанет на свои места со временем.

В общем проверил, вчера направил одну страничку с гет запросом на 404, сегодня ее нет в ошибке в search-console. Пока проверял, по логам гугл ее посетил не раз и видимо ускорило процесс. Так что есть смысл так делать.

Эта страница ищется годами, и по нормальным запросам тоже, хотя закрыта в роботсе, просто сцылок на неё много. Владелец не парится.