Вопрос с robots.txt

Okaay
На сайте с 17.02.2015
Offline
65
745

Вебмастер ругается на ошибку 403 к сайту, что не так прописал подскажите? Движок WP.

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-comments
Disallow: /wp-trackback
Disallow: /category/
Disallow: /wp-feed
Disallow: /author/
Disallow: /page/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-comments
Disallow: /wp-trackback
Disallow: /category/
Disallow: /wp-feed
Disallow: /author/
Disallow: /page/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag

Fat Bear
На сайте с 01.12.2006
Offline
264
#1

Закомментируйте файл robots.txt и проверьте ответ сервера. Результат, думаю, будет очевиден.

Открыть счёт в Capitalist ( https://capitalist.net/reg?from=e5707ff0c3 ). Виртуальные карты, USDT, банковские переводы, выплаты партнёрских программ.
Okaay
На сайте с 17.02.2015
Offline
65
#2
Масол:
Закомментируйте файл robots.txt и проверьте ответ сервера. Результат, думаю, будет очевиден.

Хм.., не совсем понял ответ.

Закомементировать? куда?

Fat Bear
На сайте с 01.12.2006
Offline
264
#3
Okaay:
не совсем понял ответ

Если удалить файл robots.txt, какой ответ сервера отдается?

K
На сайте с 21.11.2007
Offline
80
kRt
#4

ТС, ответ сервера не зависит от приведенного Вами файла robots.txt.

Проверить ответ сервера Вы можете бесплатным софтом (гуглите), в том случае, если ответ сервера по прежнему отличен от 200 ОК, то:

Рекомендую Вам обратиться к техническим специалистам (своим или хостинг-провайдера).

Fat Bear
На сайте с 01.12.2006
Offline
264
#5

kRt, удочка или рыба. Что лучше? :)

B4
На сайте с 27.04.2012
Offline
94
#6
Okaay:
Вебмастер ругается на ошибку 403 к сайту, что не так прописал подскажите? Движок WP.

у Вас юзер-агент для Яндекса полностью идентичен юзер-агенту для всех роботов. Дубль можно удалить. Но причина не robots-е.

K
На сайте с 21.11.2007
Offline
80
kRt
#7
bulatbulat48:
у Вас юзер-агент для Яндекса полностью идентичен юзер-агенту для всех роботов. Дубль можно удалить. Но причина не robots-е.

А вы в курсе, что яндекс не всегда корректно обрабатывает агента "*", несмотря на то, что написано в справке Я?

Масол:
kRt, удочка или рыба. Что лучше? :)

Лучше сразу филе

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий