Robots.txt сайт закрыт для индексирования

12
LL
На сайте с 07.06.2008
Offline
94
697

Здравствуйте уважаемые серчане.

Пожалуйста помогите с файлом robots.txt

Всё было нормально и файл robots.txt такой у нас давно несколько лет. И вдруг сегодня ни с того ни с сего от яндекс вэбмастера пришло письмо вот такое:

  • При последнем обращении к файлу robots.txt робот обнаружил, что сайт закрыт для индексирования. Из-за этого сайт может полностью пропасть из поиска. Убедитесь в корректности файла robots.txt — обратите внимание на директиву вида Disallow: / (запрещает обход всего сайта).

Сам файл у нас выглядит так:

User-agent: *

Disallow: /admin

Disallow: /search

Disallow: /cart

Disallow: /news/tag

Disallow: /captcha.php

Disallow: /showbanner

Disallow: /templates

Disallow: /*?

Allow: /hostcmsfiles/css/*

Allow: /hostcmsfiles/js/*

Allow: /hostcmsfiles/jquery/*

Host: https://sait.ru

Sitemap: https://sait.ru/sitemap.xml

Пожалуйста уважаемые друзья помогите

1) Что в нашем файле robots.txt закрыто?

2) Подскажите что нужно и можно поправить в нашем robots.txt ?

Спасибо.

S
На сайте с 01.12.2017
Offline
155
#1
LikaLika:
Здравствуйте уважаемые знатоки

Может Вам лучше все же сюда спросить

....а то инфы 0 (ноль), а там эрудированные ребята......серчане приколются и затроллят, вам это нуно? )

jpg znatoki.jpg
A2
На сайте с 07.01.2019
Offline
42
#2

Берете в вебмастере яндекса переходите в раздел анализ роботс txt и вводите страницу главную сайта и увидите какая директива блокирует главную сайта.

https://recepty.mobi (https://recepty.mobi) - Вкусные кулинарные рецепты
LL
На сайте с 07.06.2008
Offline
94
#3
smurf:
Может Вам лучше все же сюда спросить
....

Спасибо, исправила.

Сейчас поможете?

Vladimir
На сайте с 07.06.2004
Offline
532
#4
LikaLika:

2) Подскажите что нужно и можно поправить в нашем robots.txt ?

Спасибо.

- Почистить кэшированные страницы на сайте (если есть)

- Зайти в вебмастер, проверить robots.txt

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
S
На сайте с 01.12.2017
Offline
155
#5

LikaLika, конечно помогу, в личку фото в бикини, а в остальном договоримся, я не привередливый......

.....а если топлез, можно и не договариваться, я уже согласен 🚬

LL
На сайте с 07.06.2008
Offline
94
#6
Nadejda:
- Почистить кэшированные страницы на сайте (если есть)
- Зайти в вебмастер, проверить robots.txt

захожу в вебмастер а где там что проверять?

захожу в Анализ robots.txt там пишет СЕРВЕР ОТВЕЧАЕТ РЕДИРЕКТОМ НА ЗАПРОС /robots.txt

что и как проверять то?

---------- Добавлено 12.03.2020 в 01:10 ----------

Artyom2222:
Берете в вебмастере яндекса переходите в раздел анализ роботс txt и вводите страницу главную сайта и увидите какая директива блокирует главную сайта.

ввожу главную сайта и никакой информации не выдает!!!

H
На сайте с 01.04.2014
Offline
571
Had
#7

LikaLika, двиг сайта какой?

Lazy Badger
На сайте с 14.06.2017
Offline
231
#8
LikaLika:
2) Подскажите что нужно и можно поправить в нашем robots.txt ?

1. Убрать все ненужное и бесполезное (так будет проще отлаживать маленький файл)

* Host не работает уже несколько лет (да и нужен был только для яндекс-бота)

* директивы Allow после Disallow нужны только в том случае, если нужно открыть для индексации часть внутренних страниц, закрытых перед этим более короткой маской (а этого сейчас не наблюдается: /hostcmsfiles/css/ /hostcmsfiles/js/ /hostcmsfiles/jquery не закрыты ничем)

А потом, как уже правильно подсказали, проверять урлы в вебмастере через "Анализ robots.txt" в Инструментах

Производство жести методом непрерывного отжига
SocFishing
На сайте с 26.09.2013
Offline
118
#9

Уберите лишнее и используйте

User-agent: *

Allow: /*?$

Disallow: /*?

Если хотите дубли таким образом убрать.

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.
A2
На сайте с 07.01.2019
Offline
42
#10
LikaLika:
захожу в вебмастер а где там что проверять?

захожу в Анализ robots.txt там пишет СЕРВЕР ОТВЕЧАЕТ РЕДИРЕКТОМ НА ЗАПРОС /robots.txt

что и как проверять то?

---------- Добавлено 12.03.2020 в 01:10 ----------


ввожу главную сайта и никакой информации не выдает!!!

Ну как никакой инфы: вот я сделал: и ввел главную, галочка зеленая, значит все ок.



---------- Добавлено 12.03.2020 в 11:10 ----------

Скриншот в студию, что там у вас!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий