- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Уже много раз замечал на форуме следующее:
Когда кто-то начинает спрашивать "Как правильно указать в robots.txt главное зеркало сайта?" или "Как правильно использовать директиву Host: ?"
(вот только за вчерашний день 2 подобных топика:
/ru/forum/318613
/ru/forum/318700 )
Многие советуют следующее:
User-agent: Yandex
Host: myhost.ru
Хотя у Яши четко написано здесь http://help.yandex.ru/webmaster/?id=996567#996574
#Пример корректно составленного robots.txt, при обработке которого директива Host учитывается
User-Agent: *
Disallow:
Host: myhost.ru
и дальше:
#Пример некорректно составленного robots.txt, при обработке которого директива Host может не учитываться
User-Agent: *
Host: myhost.ru
Так нужно ли прописывать директиву "Disallow: "?
Что значит "может не учитываться", на одном сайте учитываю, на другом нет?
Я на всех сайтах в роботсе всегда прописывал "Disallow: " и никогда не было никаких проблем при указании главного зеркала, либо при переезде на другой урл.
Как дела обстоят на сайтах с "некорректно составленными" robots.txt?
Dissalow необходим.
Это синтаксис роботса.
#Пример корректно составленного robots.txt, при обработке которого директива Host учитывается
User-Agent: *
Disallow:
Host: myhost.ru
и дальше:
#Пример некорректно составленного robots.txt, при обработке которого директива Host может не учитываться
User-Agent: *
Host: myhost.ru
Вы сами себе ответили. =)
Такое чувство, что за каждый символ в роботсе вебмастер платит деньги и еженедельно ...
Гудле, напиши с Disallow, залей на сервер, забудь о нём и направь души прекрасные порывы лучше в другое русло ...
Так нужно ли прописывать директиву "Disallow: "?
Верно, многие сайты даже и не видели у себя такого файла как robots.txt , а чувствуют себя отлично.
Следующие две записи одинаковые
User-agent: *
Allow: /
Host: myhost.ru
User-Agent: *
Disallow:
Host: myhost.ru
Так почему бы не написать просто
User-agent: Yandex
Allow: /
Host: myhost.ru
Не использовав страшного слова Disallow