Фатальная ошибка индексирования яндекс

Neumann1970
На сайте с 28.05.2017
Offline
54
514

Всем привет!

Добавил вчера сайт в яндекс вебмастер, сегодня пришло письмо в виде фатальной ошибке о запрете индексации в robots.txt:

Вопрос: не могли бы сказать где ошибка в файле?


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /archives/
Disallow: /category/
Disallow: /search/
Disallow: /page/
Disallow: /tag/
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Host: https://mydomain.ru

Sitemap: https://mydomain.ru/sitemap.xml

И где он увидел директиву Disallow: / ?

Спасибо!

R
На сайте с 27.02.2016
Offline
38
#1
Neumann1970:

...
И где он увидел директиву Disallow: / ?
Спасибо!

Disallow: /*?*

попробуйте заменить на

Disallow: */?

https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html#allow-disallow__asterisk-dollar

Neumann1970
На сайте с 28.05.2017
Offline
54
#2
Ravel:
Disallow: /*?*


попробуйте заменить на
Disallow: */?


https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html#allow-disallow__asterisk-dollar

Я посмотрел эту ссылку, там ничего особенного нет,

/*?* - фактически запрещает параметаризацию запроса, как это связано с Disallow: / непонятно

R
На сайте с 27.02.2016
Offline
38
#3
Neumann1970:
Я посмотрел эту ссылку, там ничего особенного нет,
/*?* - фактически запрещает параметаризацию запроса, как это связано с Disallow: / непонятно
По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *. Пример:
User-agent: Yandex

Disallow: /cgi-bin* # блокирует доступ к страницам
# начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое

Чтобы отменить * на конце правила, можно использовать спецсимвол $, например:
User-agent: Yandex

Disallow: /example$ # запрещает '/example',
# но не запрещает '/example.html'

User-agent: Yandex

Disallow: /example # запрещает и '/example',
# и '/example.html'

Ваша строчка Disallow: /*?* равнозначна строке Disallow: /

[Удален]
#4
Ravel:
Ваша строчка Disallow: /*?* равнозначна строке Disallow: /

Его строчка равна Disallow: /*? - то есть любая строка с вопросительным знаком. Чушь писать не надо.

Neumann1970
На сайте с 28.05.2017
Offline
54
#5
Disallow: /*?*

/любая последовательность с +"?" + любой набор символов - в принципе логично.

или здесь ошибка или последняя звездочка не нужна ?

Disallow: */?

похоже на любую категорию или страницу, которая требует параметров или как вариант POST запроса через "?"

Да это возможно, но это допускает /*?* или /*? - что должно быть запрещено ? или я ошибаюсь?

Disallow: /*?

- это правильный вариант , яндекс не будет его ассоциировать с Disallow: / ?

[Удален]
#6

Не будет. Чего у вас там произошло, я не знаю, но это явно ни при чем.

Neumann1970
На сайте с 28.05.2017
Offline
54
#7
Не будет. Чего у вас там произошло, я не знаю, но это явно ни при чем.

Ок, написал в поддержку, спрошу у них в чем дело.

---------- Добавлено 11.10.2019 в 17:55 ----------

Да, забыл спросить о главном, в моем случает Disallow: /*?* на Disallow: /*? нужно менять ?

Samail
На сайте с 10.05.2007
Offline
336
#8

В вебмастере в инструментах "Анализ robots.txt" проверь свой роботс

Neumann1970
На сайте с 28.05.2017
Offline
54
#9

Ответ от поддержки яндекс:

Мы проверили, ваш сайт в данный момент действительно отсутствует в поиске, поскольку ранее робот получил полный запрет на его индексирование в файле robots.txt, заданный директивой:
Disallow: /
Запрет был установлен с 2019.09.27 23:33:14 по 2019.10.09 в 14:53:14 включительно. Если ранее вы самостоятельно не ограничивали доступ к вашему сайту, то для выяснения причин размещения запрета в robots.txt рекомендую вам связаться с администратором сайта или сервера, на котором он находится.

Сейчас запрет уже отсутствует, поэтому сайт беспрепятственно посещается роботом и сможет вернуться в поиск с последующими обновлениями поисковой базы. На это потребуется около двух недель. Когда сайт будет проиндексирован, предупреждение в Яндекс.Вебмастере сможет пропасть автоматически.
С уважением, Платон Щукин
Служба поддержки Яндекса
S
На сайте с 30.09.2016
Offline
469
#10
Neumann1970:
Ответ от поддержки яндекс:

Ну то есть это было ещё в период разработки сайта, до того, как появилась эта тема. Много шума из ничего.

Запрет был установлен с 2019.09.27 23:33:14 по 2019.10.09 в 14:53:14
Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий