Проиндексировано, несмотря на блокировку в файле robots.txt

12 3
G
На сайте с 27.07.2005
Offline
109
2976

письмо от гугл

Новые проблемы detected

С помощью Search Console мы выявили на Вашем сайте новые проблемы (количество: 1), относящиеся к категории "Покрытие".

Посмотрел, 2 страницы попали в индекс, хотя заблокированы в роботс

Какого хрена? Как это?

Эти страницы вобще не страницы, а инфа из модальных оконо, я закрыл их от индексации, зачем гугл это делает?

Vladimir SEO
На сайте с 19.10.2011
Offline
1797
#1

Увы такое иногда бывает, с индексацией уже год проблемы как в одну так и в другую сторону, если страницы ненужные то ноиндекс а вот если модальные окна - только ждать пока пройдёт болячка

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
Оптимизайка
На сайте с 11.03.2012
Offline
396
#2

Гугл может индексировать страницы, закрытые в robots.txt если на них есть ссылки.

https://support.google.com/webmasters/answer/6062608?hl=ru

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
Vladimir SEO
На сайте с 19.10.2011
Offline
1797
#3
Оптимизайка:
Гугл может индексировать страницы, закрытые в robots.txt если на них есть ссылки.

https://support.google.com/webmasters/answer/6062608?hl=ru

При чем он это может делать выборочно ( у меня на им из миллиона страниц фильтрации почему то 4 проиндексированы , ссылок на них нету)

Оптимизайка
На сайте с 11.03.2012
Offline
396
#4
goody:
закрыл их от индексации

Закрыли, как гугл рекомендует?

A
На сайте с 25.10.2014
Offline
99
#5

А понять, что роботс.тхт управляет только сканированием, а метатег только индексированием не судьба?

SocFishing
На сайте с 26.09.2013
Offline
118
#6

robots не всегда проверяется, т.е. проверило и работает, есть время устаревания robots. А то бы робота дергало на каждом запросе.

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.
Vladimir SEO
На сайте с 19.10.2011
Offline
1797
#7
aldous:
А понять, что роботс.тхт управляет только сканированием, а метатег только индексированием не судьба?

в этом то и прикол - http://prntscr.com/n07h7g

страницы закрыты ноиндексом , как и все остальные - но вот почему то именно эти 9 и все , из миллиона

S
На сайте с 01.12.2017
Offline
158
#8

старый глюк новой консоли, просто отправляешь на проверку и через 1-2 недели приходит "усе в порадку", но без извинений :)

K
На сайте с 27.12.2018
Offline
3
#9

Если ссылки на закрытые страницы стоят на видимом месте сайта, то гугл с вероятностью 80% их проиндексит. Роботс это набор рекомендаций, а не строжайшая доктрина.

богоносец
На сайте с 30.01.2007
Offline
761
#10
goody:
2 страницы попали в индекс, хотя заблокированы в роботс


зачем гугл это делает?

Чтобы его пользователи могли найти то, что ищут,

но это не индексация, а ссылка в выдаче...

У вас именно проиндексировано?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий