В Гугл веб мастер ошибка Заблокировано в файле robots.txt

BG
На сайте с 29.03.2018
Offline
100
567

Всем привет! Нужна помощь. В гугл веб мастер в меню статус индексирования стала появляться ошибка "Заблокировано в файле robots.txt" Несколько месяцев назад я победил эту проблему. Но сейчас не могу вспомнить где можно посмотреть заблокированные ресурсы в robots.

[ATTACH]173622[/ATTACH]

jpg Screenshot_4.jpg
LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#1

Да по сути нет проблемы. Просто сообщается, что у вас на сайте есть страницы или ресурсы, которые может проиндексировать гугл, но они запрещены в роботсе. Вот и всё.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
BG
На сайте с 29.03.2018
Offline
100
#2
LEOnidUKG:
Да по сути нет проблемы. Просто сообщается, что у вас на сайте есть страницы или ресурсы, которые может проиндексировать гугл, но они запрещены в роботсе. Вот и всё.

Вот я и хочу понять, где можно посмотреть эти ресурсы.

S3
На сайте с 15.03.2010
Offline
113
#3

в яндекс вебмастере, при условии что вы не писали правила отдельно под гугл и отдельно под яндекс

есть ещё такой вариант: устанавливаете скриминг фрог, парсирите все страницы с учётом файла роботс, затем парсите все страницы уже снимая галочку "учитывать роботс" - результат сверяете

MS
На сайте с 30.03.2016
Offline
31
#4

Автор скинь сюда свой роботс и все дела, что тут гадать

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий