Индексация в Google - проблемы, способы, методы, вопросы

ну трафик и позиции проектов то не в отпуске, разрабы тоже работают как и копиры, кто за ними то присмотрит, сча пойду на пляж )) 

последнее время вижу, что бот открывает все страницы, на которые есть ссылки

Гугл аналитика в реальном времени показывает, после отправки на индексацию 

бот по запросу из консоли? 

да, проверил несколько раз, раньше такого не было

и что интересно, переходит только по ссылкам из тела статьи, навигацию игнорирует

а так по ссылкам из основного контента часто ходит, а вот по всем остальным нет , все верно 

все же помнят как индексаторы работали - делали на блогере страницу пустую и туда ссылок валом потом в консоль и на переиндекс и бот бежал по ссылкам

Опять лезут страницы в роботс тхт в индекс , у кого так же ? ИМ. - страницы сортировки, опенкарт 

не опять лезут, а давно уже лезут...

это баг индексирующих алгоритмов гугла и никто его править не спешит...

то что не первый день это давно известно, но последние пару дней опять всплеск. 

Это не баг - а новый алго - если страница посещаемая - то она должна быть в индексе, не смотря на "рекомендацию не сканировать"

Гул упорно не индексирует несколько страниц. При этом, индексирует то, что закрыто в роботс. Совсем уже ку-ку🤔

Индексирует то, что закрыто в роботс, но имеет траф, а что не закрыто и не имеет - не хочет. не всегда хочет. логика - другим страница не нужна и я брать не буду)