Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Роботс.тхт - что не так?

12
Nick.D
На сайте с 07.12.2006
Offline
5
Nick.D
672

Залил robots.txt

в нём:

-------------------

User-Agent: *

Host: www.site.ru

-------------------

Больше ничего нету.

Проверяю через любой seo-сервис - выдаётся:

------------------------------------------------

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера site.ru:80 запрещена полностью.

------------------------------------------------

Что я сделал не так? Просто раньше никогда в РОБОТСе не пользовался функцией Host, а теперь она мне понадобилась. Может я напортачил чего?

Подскажите.

fine
На сайте с 01.12.2005
Offline
151
fine
#1

http://robotstxt.org.ru/RobotstxtErrors#h83-17

А вообще поиском можно было воспользоваться - почти каждый день вопросы с robots.txt обсуждаются.

Nick.D
На сайте с 07.12.2006
Offline
5
Nick.D
#2

fine, спасибо :)

Mmonger
На сайте с 01.12.2005
Offline
165
Mmonger
#3

Не хватает строчки:

Disallow:

Всё будет хорошо, но мы приложим усилия!
Kislov
На сайте с 29.04.2006
Offline
185
Kislov
#4
Nick.D:
Залил robots.txt

в нём:
-------------------
User-Agent: *
Host: www.site.ru
-------------------

Больше ничего нету.
Проверяю через любой seo-сервис - выдаётся:

------------------------------------------------
Запрещена индексация всех URL, начинающихся с указанных префиксов:
/
Индексация сервера site.ru:80 запрещена полностью.
------------------------------------------------

Что я сделал не так? Просто раньше никогда в РОБОТСе не пользовался функцией Host, а теперь она мне понадобилась. Может я напортачил чего?
Подскажите.

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: www.site.ru

Так будет правильно ;)

Kislov
На сайте с 29.04.2006
Offline
185
Kislov
#5

Не хотел создавать отдельную тему. Поэтому спрошу здесь.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation
Host: www.sait.ru

Так будет правильно?

Mmonger
На сайте с 01.12.2005
Offline
165
Mmonger
#6
Kislov:
Не хотел создавать отдельную тему. Поэтому спрошу здесь.
Так будет правильно?

А зачем дважды disallow дублировать? 

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /editor/

Disallow: /help/

Disallow: /images/

Disallow: /includes/

Disallow: /language/

Disallow: /mambots/

Disallow: /media/

Disallow: /modules/

Disallow: /templates/

Disallow: /installation/

Host: www.sait.ru

Не бойтесь директивы Host, она успешно игнорируется всеми остальными.

Kislov
На сайте с 29.04.2006
Offline
185
Kislov
#7

Т.е. разумно будет использовать?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Host: www.sait.ru

и

User-agent: *
Disallow:
Host: www.site.ru
Mmonger
На сайте с 01.12.2005
Offline
165
Mmonger
#8
Kislov:
Т.е. разумно будет использовать?

Да, часто так и используется, несмотря на то, что это не соответствует стандартам и периодически появляются статьи типа:

http://notes.webartsolutions.com/archives/000084.html

Sonja
На сайте с 05.06.2003
Offline
170
Sonja
#9
Mmonger:
А зачем дважды disallow дублировать?

Перестраховка. :) Инструкции инструкциями, но и сам не плошай, не пугай других роботов неизвестной директивой.

С уважением, Ольга Лебедева
Kislov
На сайте с 29.04.2006
Offline
185
Kislov
#10

Гугл проигнорировал директиву host (про остальных поисковиков не знаю). Так что можно использовать

User-agent: *
Disallow: /papka1/
Disallow: /papka2/
Disallow: /papka3/
Host: www.sait.ru

Но всё-таки лучше придерживаться стандартов и использовать (так я и поступлю)

User-agent: *
Disallow: /papka1/
Disallow: /papka2/
Disallow: /papka3/

User-agent: Yandex
Disallow: /papka1/
Disallow: /papka2/
Disallow: /papka3/
Host: www.sait.ru

Вдруг какой-нибудь бот не правильно поймёт ;)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий