Правилен ли этот robots?

246

kostyk

4 февраля 2014, 14:33

838

Цель: некоторым ботам запретить индексировать сайт, некоторым разрешить индексировать сайт:

Yandex и Google разрешить, Yahoo и MJ12bot запретить.


User-agent: Yandex
Disallow: 
HOST: domain.com

User-agent: Googlebot
Disallow: 

User-agent: Yahoo
Disallow: /

User-agent: MJ12bot
Disallow: /

В данном случае правильно ли прописан robots.txt?

25

Antesianka

4 февраля 2014, 14:50

#1

HOST: domain.com

Не лишнее ли?

Хорошо, когда есть два портфолио - про фриланс (http://antesianka.netboard.me/portfolio/) и все остальное (https://freelance.ru/antesianka)

K

246

kostyk

4 февраля 2014, 14:51

#2

Antesianka:
Не лишнее ли?

Нет. Это спец директива для Yandex.

A

64

astapinvest

10 марта 2014, 17:45

#3

Добавьте Crawl-delay еще, на виртуальном хостинге особо ни на что не повлияет, но на среднем VPS сервак просто ляжет без этой директивы