Robots.txt

12
rzasia
На сайте с 13.04.2010
Offline
15
1611

имеет ли место следуюющий код?

User-agent: * 

Disallow:

Host: site.ru

Тоесть директива Host только для Яндекса и основной домен site.ru.

Или лучше написать вот так? Тоесть для яндекса отдельные директивы а для всех остальных ПС отдельные?

User-agent: * 

Disallow:

User-agent: Yandex
Disallow:

Host: site.ru

rzasia добавил 27.09.2010 в 00:25

Или может даже вот так?

User-agent: Yandex 

Disallow:

Host: site.ru

User-agent: *
Disallow:
WebVort - разработка сайтов, услуги аутсорсинга (http://www.webvort.com/) каталог сайтов (http://found.org.ua)
kbv79
На сайте с 24.03.2007
Offline
167
#1

Без разницы.

Яндекс и так поймет:

User-agent: *
Disallow:
Host: site.ru

Перевод строки не нужен, это ошибка.

[Удален]
#2
kbv79:
Без разницы.
Яндекс и так поймет:


Перевод строки не нужен, это ошибка.

Юниксовая привычка. Обычно в конфигах без перевода строки - ошибка...

angr
На сайте с 11.05.2006
Offline
413
#3

вот этот вариант правильный, как я считаю:

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: site.ru
Требуется СЕО-Специалист в Кишиневе, в офис. ()
Delarante
На сайте с 13.07.2008
Offline
69
#4
angr:
вот этот вариант правильный, как я считаю:

+1, я тоже так оформляю, еще указываю sitemap. Часто слышал что и первый вариант прокатывает но я не экспериментирую, так как этот работает безотказно...


User-agent: *
Disallow:
Sitemap: http://site.ru

User-agent: Yandex
Disallow:
Host: site.ru
angr
На сайте с 11.05.2006
Offline
413
#5
Delarante:
еще указываю sitemap

тоже указываю

User-agent: *
Disallow:
Sitemap: http://site.ru/sitemap.xml

при больших картах желательно их запаковать, sitemap.xml.gz

VoV@
На сайте с 22.09.2007
Offline
196
#6

Предпочитаю так:

User-agent: Yandex
Disallow:
Host: site.ru

User-agent: *
Disallow:

Sitemap: http://site.ru/sitemap.xml
⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
angr
На сайте с 11.05.2006
Offline
413
#7

VoV@, от перемены мест...

но пустую строку все-таки не стоит оставлять...

Seo2z
На сайте с 27.11.2008
Offline
130
#8

вообще, если с сайтмапом, правильный вид такой:

User-agent: Yandex 

Disallow:
Host: site.ru

User-agent: *
Disallow:

Sitemap: http://site.ru/sitemap.xml
VoV@
На сайте с 22.09.2007
Offline
196
#9
angr:
VoV@, от перемены мест...
но пустую строку все-таки не стоит оставлять...

Ну по крайней мере я ещё ни разу не видел, чтобы ПС давились при попытке схавать роботс (может просто молодой ещё ;) ).

R
На сайте с 24.01.2008
Offline
180
#10

А если я просто хочу прописать хост для всех поисковиков, как правильно сделать?



User-Agent: *
Disallow:

Host: www.mysite.ru

Так правильно?

Удаление вирусов с сайта, защита сайта, Гарантия! ( /ru/forum/999073 ) -> топик на маулталк ( http://www.maultalk.com/topic113834s0.html ) -> Топик в сапе ( http://forum.sape.ru/showthread.php?t=79363 ). TELEGRAM - https://t.me/Doktorsaitov
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий