robots.txt и ahrefs

NikSolovov
На сайте с 15.12.2019
Offline
28
129

Всем привет!

Подскажите пожалуйста столкнулся с непонятной проблемой.

Решил добавить свой сайт (https://niksolovov.ru) в панель ахревс: https://ahrefs.com/site-audit

Но выходит 503 ошибка, я так понял запрет в robots.txt но хоть убейте, не вижу запрета.




(Код ответа сервера 200 - все вроде нормально)

Пробовал добавить код:

User-agent: AhrefsSiteAudit
Allow: /

Но так же не помогло.

Подскажите пожалуйста в чем может быть проблема, спасибо)

Подбор сервисов для развития интернет бизнеса: ( https://niksolovov.ru/services )
Антоний Казанский
На сайте с 12.04.2007
Offline
303
#1
Попробуйте на короткое время вообще удалить robots.txt, а потом после анализа сайта добавить.
√ SEO консалтинг, маркетинговые изыскания, поиск новых точек роста, экспертный аудит сайтов ( http://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Отзывы (https://searchengines.guru/ru/forum/992763/page15).
NikSolovov
На сайте с 15.12.2019
Offline
28
#2
Антоний Казанский #:
Попробуйте на короткое время вообще удалить robots.txt, а потом после анализа сайта добавить.

Спасибо, попробовал) - и та же самая проблема. Пожалуй отпишу в поддержку т.к. странности .

Алеандр
На сайте с 08.12.2010
Offline
142
#3
NikSolovov #:

Спасибо, попробовал) - и та же самая проблема. Пожалуй отпишу в поддержку т.к. странности .

На некоторых хостингах боты по типу ahrefs блокируются превентивно, еще ДО доступа к сайту, например, на уровне nginx.
Если я верно понимаю написанную ошибку - робот ahrefs не смог получить не страницу, а сам robots.txt.

Посмотрите логи вашего сайта, возможно, что этот бот блокируется без вашего участия. Следовательно, нужно писать в поддержку хостера.

---
Залез в логи у себя, вот так делает мой хостер:

ModSecurity: Access denied with code 403, [Rule: 'REQUEST_HEADERS:User-Agent' 'MJ12bot|AhrefsBot|BLEXBot|bingbot|SemrushBot|musobot|ltx71|
SentiBot|Screaming|DomainCrawler'] [id "1"] [msg "Bad User-Agent"] [hostname "***"] [uri "/robots.txt"]
Удобный и качественный хостинг с тестовым периодом: https://okej.ru/ihc/ - домены, SSL-сертификаты, IP-сети и многое другое..
Антоний Казанский
На сайте с 12.04.2007
Offline
303
#4
Алеандр #:
Если я верно понимаю написанную ошибку - робот ahrefs не смог получить не страницу, а сам robots.txt.

Да, вы правы. Доступ к ресурсам сайтам блокируется на уровне логики хостинга. 

to TC: Обратитесь к тех. поддержке хостинга.

NikSolovov
На сайте с 15.12.2019
Offline
28
#5
 Алеандр, Антоний, спасибо огромное за помощь, отписал хостеру.
NikSolovov
На сайте с 15.12.2019
Offline
28
#6
Да вопрос решен, всем спасибо - блокировка у хостинга для уменьшения нагрузки на сервер.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий