https у вас вообще не отвечает. Так что поставьте 301 редирект на http. Как это сделать, почитайте про 301 редирект. И, в зависимости от типа сервера, выберите подходящий способ.
А с http у вас всё ок, он выдаёт код 200 - доступен.
У него и так редирект стоит с https -> http. Именно поэтому он и не может подтвердить права.
скажите пожалста вот эта вся ерунда с https и http может быть результатом взлома сайта?
Нет, вероятнее, Вы сами запутались в настройках. Хост нормально прописали в robots.txt?
Там должно быть Host: hitroum.ru, без www. Ибо у вас и так редиректит с ввв на без ввв.
https у вас вообще не отвечает. Так что поставьте 301 редирект на http. Как это сделать, почитайте про 301 редирект. И, в зависимости от типа сервера, выберите подходящий способ.
А с http у вас всё ок, он выдаёт код 200 - доступен.
У него и так редирект стоит с https -> http. Именно поэтому он и не может подтвердить права.
Нет, вероятнее, Вы сами запутались в настройках. Хост нормально прописали в robots.txt?
А по другим? :)
Давно не пользовался соломоно и с бесплатного акк урлы не выцепить. Но с других указанных сервисов точно можно.
Ahrefs, Semrush, Solomono, Majesticseo, SE и еже с ними. Отчет по урлу и вперед анализировать.
Так и закройте:
Disallow: /index.html
Disallow: /index.php
Смотря по каким критериям выбор, от этого зависит - Excel или Key Collector, например. :)
Столько раз тема обмусоливалась.
Почему бы просто не почитать мануал? :)
Добрый день, у меня такой вопрос, мне нужно в robots.txt закрить папки blocks, admin и js. Я для этого прописал вот такое:
User-Agent: *
Disallow: /blocks/
Disallow: /admin/
Disallow: /js/
Правильно ли я все прописал ?
Норм. Подойдет.
Покажите в личку сайт.