Робот - правильное закрытие страниц?

12
KB
На сайте с 23.05.2014
Offline
56
368

Весьма донный вопрос :)

не могу понять, вот некоторые в роботсе пишут такое:

User-agent: * 
...
User-agent: Yandex
...

То-есть первый тег как я понимаю, он запрещает ВСЕМ роботам индексировать страницы. Тогда зачем ниже пишут 2-й тег именно для яндекса и дублируют теже страницы?

Optismile
На сайте с 30.05.2015
Offline
57
#1

KradaBash,они тем самым показывают огромное уважение и почтение Яндексу

KB
На сайте с 23.05.2014
Offline
56
#2

Хм, и так стоит делать? :)

Optismile
На сайте с 30.05.2015
Offline
57
#3
KradaBash:
Хм, и так стоит делать?

В свете последних событий наверное стоит

KB
На сайте с 23.05.2014
Offline
56
#4

Ну я в общем понял :)

Строк:

Sitemap: http://site.ru/sitemap.xml

Host: http://site.ru/

Достаточно 1 раз или под каждый поисковик пихать?

Maxim-KL
На сайте с 26.01.2011
Offline
350
#5

KradaBash,

Вы что прикалыветесь?

KradaBash:
User-agent: *

Это для всех ботов. И ничего он не запрещает.

KradaBash:
User-agent: Yandex

А это специально для Яндекса. Так как он немного тормоз и не всегда понимает, так что для него делают отдельный.

Мои услуги по прогонам: ✅Качественный ручной статейный прогон по базе сайтов с ИКС10+ (maximgroups.net/progon-statejnyj) ✅Прогон Максимум - Все включено, 300+ качественных ссылок (maximgroups.net/progon-maksimum)
KB
На сайте с 23.05.2014
Offline
56
#6
Maxim-KL:
KradaBash,
Вы что прикалыветесь?

Это для всех ботов. И ничего он не запрещает.

А это специально для Яндекса. Так как он немного тормоз и не всегда понимает, так что для него делают отдельный.

Как он не запрещает? Лично у меня Гугл показывает что страница закрыта и бла-бла, при переходе ничего не происходит.

Optismile
На сайте с 30.05.2015
Offline
57
#7
KradaBash:
Как он не запрещает? Лично у меня Гугл показывает что страница закрыта и бла-бла, при переходе ничего не происходит.

Запрещает нижеследующая директива Disallow: /

KradaBash:
Host: http://site.ru/

Нужна только для Яндекса

Maxim-KL
На сайте с 26.01.2011
Offline
350
#8
KradaBash:
Как он не запрещает?

Запрещает то что у вас ниже, выложите полный роботс.

Optismile:
Нужна только для Яндекса

Не только для Яндекса, но он показывает главное зеркало сайта.

KB
На сайте с 23.05.2014
Offline
56
#9
Maxim-KL:
Запрещает то что у вас ниже, выложите полный роботс.

Не только для Яндекса, но он показывает главное зеркало сайта.

Да забыл, у меня там: Disallow: / :)

Optismile
На сайте с 30.05.2015
Offline
57
#10
Maxim-KL:
Не только для Яндекса

Для каких ещё ПС? Интересно для ликбеза.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий