Почему гугл индексирует закрытые страницы

Хотел сказать, что сейчас, возможно google пересмотрел свое отношение к роботс и уже не индексирует все подряд, как раньше.

ну есть мнение от уважаемого мною человека, облеченного познаниями, что гугл индексирует все, что ему хочется, не смотря на наши роботс и ноиндекс. просто он при выдаче их учитывает. т.е. если в роботс есть запрет, то и страницы в выдаче не будет, хотя в базе гугла эта страница будет вечно

Да, если хочется, чтобы такие страницы ушли из индекса.

Google работает с robots.txt точно так же, как и 3 года назад.

Это естественно. Краулер не смог прочитать стили и поэтому не обновлял информацию о сайте. Открыть всё, иначе кукиш.

Есть хорошая статья о генерации плохих и хороших ссылок.

Уважаемые люди из компании написали достаточно документации, просто надо читать вдумчиво. Лучше на родном (англ). Шаманство - это конечно хорошо, но когда на кону стоит чужой коммерческий проект, фантазиями и экспериментами увлекаться не стоит.

а как проверить страницу на наличие в индексе гугла? помню у гугла был такой инструмент, но не могу его найти

и правльно ли я понимаю, что в роботсе уже и не нужно закрывать ненужные страницы, попавшие в индекс? ведь хз когда они из индекса уйдут, и уйдут ли вообще...

Как бы... если закрыть, то эти ссылки потеряют сниппет (появится заглушка) и уйдут в задницу ссылочной базы сайта. Если не закрыть, пс будет обновлять по ним информацию, а дальше всё решит случай.

Оператором или просто вбить url.

Насчёт инструмента, есть статистика, но она неточная (данные всё время опаздывают).

С дублями борются метатегом, x-robots, 404 (просто удаление страницы), настраивают параметры url, понижают приоритет, ставят канонические ссылки.

Страницы никогда не уходят, если отдают 200ОК. Опять же мусор, хоть и в индексе, в выдаче тоже не участвует.

Сейчас экспериментально Google делает группы дублей и не индексирует триллион страниц, выбирая только нужные. Но это не у всех.

Удаляю в вебмастере не существующие страницы, через пару дней они снова вылазят в ошибках сканирования и так по кругу. Как их удалить то?

Иван34, просканируйте сайт xenu или seo sсreaming frog, найдите все внутренние ссылки на эти страницы и искорените их. Если не помогло, то скорее всего какие то внешние ссылки ссылаются на эти страницы, рекомендую проставить редирект 301 тогда на главную или похожую страницу. Хотя если сайт и не большой, можно и для внутренних ссылок проставлять редиректы.

Вот что бывает, когда люди не читают справочные материалы.

https://support.google.com/webmasters/answer/1269119?hl=ru

Удалённая страница должна отдавать 404 и всё. Больше от сайта ничего не требуется.

Но если удалённый в ГСК url редиректните на главную, то имеете шанс получить головную боль в виде исчезнувшей главной страницы.

О каких удалённых страницах, тут у вас речь?

Есть в индексе страницы, которые нужно только из ПС удалить. С этим у самого проблема. А на сайте они существуют "в природе" и будут всегда существовать: пагинация, сортировка, результаты поиска, варианты/комбинации страниц с параметрами от фильтра в конце урл. Тут по-неволе приходится их блокировать в robots. Надо ли такие страницы на 404 error направлять?

Если через x-robots tag блокировать - так Яндекс не поддерживает этот способ. Или поддерживает уже?

Он написал:

Я так понимаю, что "несуществующие" - это удалённые? Или что?

В тестовом режиме поддерживал для блогов на Blogger. Сейчас как с этим - хз.

Для пагинации есть свои параметры. См. Справку.

Для мусора метатег роботс ноиндекс.

Про роботс.тхт и прочее написано выше.

Редиректить никуда ничего не нужно.

Удалённый url должен отдавать 404. Для Google этого достаточно.