Гугл не индексирует сайт "ошибка доступ к отправленному url заблокирован в файле robots.txt"

12
M1
На сайте с 20.04.2015
Offline
51
475

Всем привет! Может быть, кто-нибудь поможет мне с такой проблемой:
Есть сайт https://haipovo.ru
В яндексе больше 1000 страниц в поиске, индексируется мгновенно.
А вот в гугле чуть больше 100 страниц попало в поиск и все, на этом все остановилось.
В гугл панели вебмастера вот такое уведомление:
"
Ошибка
Доступ к отправленному URL заблокирован в файле robots.txt"
На первом скрине показывает вот чего:

Скрин ошибки 1

Файлы sitemap норм сканируются:

Скрин 2

Файл robots txt корректный вроде как)))

robots

Один специалист на бирже фриланса сказал, дескать, проблема у вас с постоянными ссылками:
https://haipovo.ru/yumor/vyskazyvaniya-velikih-lyudej-o-lyubvi/.html

А должно быть:
https://haipovo.ru/yumor/vyskazyvaniya-velikih-lyudej-o-lyubvi

Хотя с другой стороны Гугл проиндексировал чуток страниц именно с постоянными ссылками вида /.html

Помогите, пожалуйста, советом! Заранее спасибо!



LEOnidUKG
На сайте с 25.11.2006
Offline
1743
#1
Доступ к отправленному URL заблокирован в файле robots.txt"
А пример такого урла укажите.
✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Виктор Петров
На сайте с 05.01.2020
Offline
240
#2
Что мешает проверить URL инструментом проверки robots.txt от самого Гугла? Покажет блокирующую строчечку.
M1
На сайте с 20.04.2015
Offline
51
#3
LEOnidUKG #:
А пример такого урла укажите.
вот чего
M1
На сайте с 20.04.2015
Offline
51
#4
Виктор Петров #:
Что мешает проверить URL инструментом проверки robots.txt от самого Гугла? Покажет блокирующую строчечку.

все ок


Ошибок анализ файла в гугле не выдает ничего

Виктор Петров
На сайте с 05.01.2020
Offline
240
#5
maksik1991 #:
Ошибок анализ файла в гугле не выдает ничего

Подозреваю, что косячина именно в дублировании. То, что у вас каноникализировано - может быть и проигнорировано, если есть какие-то веские для гуглобота причины.
У вас как минимум обе версии 200 отдают, и это напрасно.

M1
На сайте с 20.04.2015
Offline
51
#6
Виктор Петров #:

Подозреваю, что косячина именно в дублировании. То, что у вас каноникализировано - может быть и проигнорировано, если есть какие-то веские для гуглобота причины.
У вас как минимум обе версии 200 отдают, и это напрасно.

Похожая проблема как-то  с Яндексом была. Однажды появилась фатальная ошибка связанная с тем, что всякий мусор индексировался. Что-то с clean-param. Потом файл роботс поправил, все прошло. А вот Гугл второй год чет не индексит сайт совсем. Не подскажете, как решить проблему с дублированием?

Один чувак сказал, типа проблема с окончанием ссылок.

Начудил с постоянными в самом начале - случайно слеш поставил, теперь все статьи имеют окончание /html.ru

Хотя если убрать  "/html.ru", оставив только адрес сайта категория название поста, страница открывается без ошибок.

Виктор Петров
На сайте с 05.01.2020
Offline
240
#7
maksik1991 #:
теперь все статьи имеют окончание /html.ru

Ну настройте редиректы-то. Месяцок - и всё устаканится.
У вас с сайтом вообще проблемы какие-то. Попробуйте спарсить тем же Screaming Frog с Googlebot Smartphone в качестве User-Agent. Я попробовал скачать для анализа единственную страничку - обычно это занимает 5-10 секунд. В вашем случае парсер молотил 10 минут, слил тонны URL, к другой тонне не получил доступа, и прогресс остановился на 56%.
Это как бы тревожный сигнал-то. Техничка кривая.

M1
На сайте с 20.04.2015
Offline
51
#8
Виктор Петров #:

Ну настройте редиректы-то. Месяцок - и всё устаканится.
У вас с сайтом вообще проблемы какие-то. Попробуйте спарсить тем же Screaming Frog с Googlebot Smartphone в качестве User-Agent. Я попробовал скачать для анализа единственную страничку - обычно это занимает 5-10 секунд. В вашем случае парсер молотил 10 минут, слил тонны URL, к другой тонне не получил доступа, и прогресс остановился на 56%.
Это как бы тревожный сигнал-то. Техничка кривая.

Особо ничего не понял, если честно, далек я от этого) Где искать спеца для помощи я не знаю. Может быть, вы возьметесь? Не за спасибо, конечно.

Виктор Петров
На сайте с 05.01.2020
Offline
240
#9
maksik1991 #:
Особо ничего не понял, если честно, далек я от этого

Там ничего сложного. Вам для начала надо просто с адресов /.html настроить 301-е (постоянные) редиректы на урлы без них. Ну, и канонические адреса поправить с учётом редиректов. За месяц в среднем всё будет переклеено в индексе, и будет хорошо.
За сайт не возьмусь, вам, скорее, разработчик с опытом в WP нужен толковый. На форуме такие есть.
Надо понять, в чём сложности с обходом сайта гуглоботом. Как я уже сказал, я даже одну страничку полноценно спарсить не смог. Возможно, это были временные неполадки, но пачка ресурсов, к которым есть обращения UA, просто не отвечают.

M1
На сайте с 20.04.2015
Offline
51
#10
Виктор Петров #:

Там ничего сложного. Вам для начала надо просто с адресов /.html настроить 301-е (постоянные) редиректы на урлы без них. Ну, и канонические адреса поправить с учётом редиректов. За месяц в среднем всё будет переклеено в индексе, и будет хорошо.
За сайт не возьмусь, вам, скорее, разработчик с опытом в WP нужен толковый. На форуме такие есть.
Надо понять, в чём сложности с обходом сайта гуглоботом. Как я уже сказал, я даже одну страничку полноценно спарсить не смог. Возможно, это были временные неполадки, но пачка ресурсов, к которым есть обращения UA, просто не отвечают.

По поводу файла 301. Постоянные ссылки уберу в настройках дурацкое окончание /html.ru.

А не скажется ли это на индексации сайта Яндексом? ПРосто сейчас он мгновенно индексируется. 

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий