Проиндексировано, несмотря на блокировку в файле robots.txt

AR
На сайте с 21.03.2016
Offline
95
2046

Здравствуйте!

Сегодня в Search Console увидел сообщение об ошибках.  Кто с таким сталкивался? Буду благодарен любой информации.

Ошибка















Nixenz
На сайте с 24.08.2021
Offline
25
#1

Такого не было. Лучше сразу напиши на форум гугла https://support.google.com/webmasters/community?hl=ru

Могу предположить что баг в GSC

Семантическое Ядро: https://semanticheskoe-yadro.ru
AR
На сайте с 21.03.2016
Offline
95
#2
Nixenz #:

Такого не было. Лучше сразу напиши на форум гугла https://support.google.com/webmasters/community?hl=ru

Могу предположить что баг в GSC

Написал на форум, может кто ответит. Страницы поиска в robots.txt закрыты помощью "Disallow: /?s=" почему он их индексировать начал. По другим сайтам все нормально.

G6
На сайте с 12.07.2007
Offline
162
#3

robots.txt не запрет конкретный для ботов, а указание. Если есть ссылки внутренние, внешние, популярны эти страницы (часто возникает урл на сайте), он не поможет и это не ошибка, предупреждение. Да и собственно там же есть на справку ссылка.

Можно добавить к страницам с гет параметрами или к конкретному параметру :

<meta name="robots" content="follow, noindex"/>

Или вообще полностью к странице поиска, наверняка у вас стоит сео плагин, в котором можно это сделать.

Но ждать результатов придется долго, к этому надо быть готовыми.

AR
На сайте с 21.03.2016
Offline
95
#4

В том и дело что страница поиска по сайту закрыта:

<meta name='robots' content='noindex, follow' />

Может поробовать удалить "Disallow: /?s=" и отправить на исправление? Было такое со страницами пагинации, когда были одновременно закрыты через роботс и ноиндекс.

Да и кто такой на сайте поисковый запрос вводил, сайт русскоязычный.

G6
На сайте с 12.07.2007
Offline
162
#5
Axa-Ru #:
Может поробовать удалить "Disallow: /?s=" и отправить на исправление?

Не поможет скорее всего. Посмотрите сами, в теле страницы поиска  ?s... есть  <meta name='robotscontent='noindex, follow' />

AR
На сайте с 21.03.2016
Offline
95
#6
garry69 #:

Не поможет скорее всего. Посмотрите сами, в теле страницы поиска  ?s... есть  <meta name='robotscontent='noindex, follow' />

Да, есть.

G6
На сайте с 12.07.2007
Offline
162
#7
Axa-Ru #:
Да, есть.

Тогда и возможно, кто-то для каких то целей накрутил такой запрос у вас и может быть есть внешние и ссылки на него, вот гугл и подцепил. Скорее всего пропадет со временем, но не быстро.

AR
На сайте с 21.03.2016
Offline
95
#8
garry69 #:

Тогда и возможно, кто-то для каких то целей накрутил такой запрос у вас и может быть есть внешние и ссылки на него, вот гугл и подцепил. Скорее всего пропадет со временем, но не быстро.

Ссылок нет, отправлю на исправление, посмотрим что будет.

Vladimir
На сайте с 07.06.2004
Offline
533
#9
Axa-Ru #:

Ссылок нет, отправлю на исправление, посмотрим что будет.

Не пропадет, так вам этим г.. ежедневно спамят сотнями ссылок ( если не тысячами) - один из видов продвижения в бурженете
- закрыть доступ к webstat

RewriteRule webstat/(.*) https://domen [R=301,L]

-  закрыть доступ к /?   совсем
как пример для  wp

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/wp-admin/ #разрешение для папки админ
RewriteCond %{REQUEST_URI} !^/wp-json/ #разрешение для папки wp-json
RewriteCond %{REQUEST_URI} !^/wp-login.php #разрешение для входа
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{THE_REQUEST} \?
RewriteRule ^(.*)$ /$1? [R=301,L]
</IfModule>

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Б
На сайте с 18.12.2019
Offline
61
#10
Vladimir #:

Не пропадет, так вам этим г.. ежедневно спамят сотнями ссылок ( если не тысячами) - один из видов продвижения в бурженете
- закрыть доступ к webstat

RewriteRule webstat/(.*) https://domen [R=301,L]

-  закрыть доступ к /?   совсем
как пример для  wp

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/wp-admin/ #разрешение для папки админ
RewriteCond %{REQUEST_URI} !^/wp-json/ #разрешение для папки wp-json
RewriteCond %{REQUEST_URI} !^/wp-login.php #разрешение для входа
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{THE_REQUEST} \?
RewriteRule ^(.*)$ /$1? [R=301,L]
</IfModule>

Подскажите нубу это где прописать надо? 

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий