Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Правильно ли написан robots.txt ???

1 234
[Удален]
#31
Psycho:
А что не так-то? Прав murvuz, не верите ему - поверьте Яндексу.
murvuz:
Да я спокоен как удав :p

Бесполезно. Я уже давал ссылку. Пускай живет со своим роботсом.

Прочитайте свои посты ещё раз.

Было признание верности моих утверждений. Будьте внимательны...

Ооо, Вы все же прозрели, что хост после дизэлоу или эллоу идет. Уже хорошо.

Будьте внимательны, повроряю ещё раз! Давным давно, в 12 посте, признал и исправил...

murvuz
На сайте с 14.06.2007
Offline
191
murvuz
#32
Kimochi:
Прочитайте свои посты ещё раз.
Было признание верности моих утверждений. Будьте внимательны...


Будьте внимательны, повроряю ещё раз! Давным давно, в 12 посте, признал и исправил...

Вы меня уморили! 🔥

Вбейте:

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow:
Host: seo.kg

В анализатор роботса и посмотрите используемые секции ☝

" А не спеть ли нам песню? О любвииии..."
[Удален]
#33
murvuz:
В анализатор роботса и посмотрите используемые секции

Директива для конкретного User-Agent имеет приоритет над общими директивами. Таким образом, как и показывает анализатор, Яндекс будет видеть роботс так:

User-Agent: Yandex
Disallow:
Host: seo.kg

то есть для него всё открыто (это не ответ на приведённую цитату, пост адресован Kimochi).

gamezgateway.com - проиндексирована всего Как закрыть от индексации Настройка robots.txt для Яндекса
[Удален]
#34
murvuz:
Вы меня уморили! 🔥
Вбейте:

В анализатор роботса и посмотрите используемые секции ☝

Согласен с:

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg

за поправкиу спасибо ;)

но не:

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg

как твердит ТС.

возвращаясь к вопросу:

Всем привет.
На одном блоге есть такая тема - http://seo.kg/wordpress/ideal-wordpr...t-by-bloggers/
Вопрос, собственно в следующем:
Есть http://seo.kg/robots.txt
в данном случае директива User-agent - используется дважды.
Меня интересует, правильно ли это или нет...?
Я считаю что если есть User-agent: * - то эта строка User-Agent: Yandex НЕ НУЖНА!

Я новичок в SEO, и поэтому хочу услышать ответ профессионалов.
Ну и выяснить, кто из нас прав...

Ответ - Правильно!

murvuz
На сайте с 14.06.2007
Offline
191
murvuz
#35
Kimochi:

за поправкиу спасибо ;)

Не за что. ;)

Kimochi:
но не:
...
как твердит ТС.

возвращаясь к вопросу:


Ответ - Правильно!

Да у Вас у обоих ошибки были :) А с общей для всех конструкцией, как я и говорил работать будет. Спорить уже надоело, можете просто проверить.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий