Проиндексировано, несмотря на блокировку в файле robots.txt

Слав - справедливости ради должен заметить что закрытый сайт полностью или закрыты страницы отдельно какие-то - это разный случай и пс ведут себя по разному , обычно при полном дисалов нету индекса или 1 страница с урезанным сниппетом. А вот при частичном закрытии - часто в индекс лезут. Мета ноиндекс спасает если нужно закрыть

Дык я ж тока за.. Причем, если уже как-то попало  в зубы паука, то ее нужно выпустить из robots

Из недавнего
Страница просканирована, но пока не проиндексирована

А там в основном  сортировки  и лимиты
Я им   noindex

через время он переползают  в

Индексирование страницы запрещено тегом noindex

а за noindex у меня спрятаны еще и страницы сравнения, логина и им подобные

само собой - открыть роботс тхт и ноиндексом закрыть намертво ) а ну это когда открыто в роботсе тхт то они лезут и жрут краул бюджет нещадно

просто так для информации, может ком понадобится :)

Вот как  они часто ходят на сайт в разрезе суток