- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Роботс на моем сайте имеет вот такой вид:
User-agent: *
Disallow: /fv21/
Disallow: /arhiv/
Host: site.ru
При этом я надеюсь, что заложил в него такой смысл:
- никаким поисковым системам не индексировать содержимое папки /fv21/ и содержимое папки /arhiv/;
- главным доменом считать site.ru, а все другие домены, где встретиться такое же содержание, (в частности www.site.ru), считать его зеркалами.
Правильно ли составлен роботс?
Правильно будет
User-agent: *
Disallow: /fv21/
Disallow: /arhiv/
User-agent: Yandex
Disallow: /fv21/
Disallow: /arhiv/
Host: site.ru
Директива host предназначена для Яндекса. Другие роботы её игнорируют.
Kislov, именно по этому вариант ТС так же правильный.
Всякую чушь роботы не подгоняют под известные инструкции, а просто не интерпретируют.
Всякую чушь роботы не подгоняют под известные инструкции, а просто не интерпретируют.
... или игнорируют блок целиком ;)
А так правильно:
User-agent: *
Disallow: /title.html
Disallow: /rek.html
User-agent: *
Disallow:
Host: http://site.ru/
Kislov, именно по этому вариант ТС так же правильный.
Всякую чушь роботы не подгоняют под известные инструкции, а просто не интерпретируют.
Поддерживаю.
От себя могу добавить, что для Гугля можно воспользоваться фишками для вебмастеров, там есть возможность указать основной сайт и зеркала.
Правильно будет
User-agent: *
Disallow: /fv21/
Disallow: /arhiv/
User-agent: Yandex
Disallow: /fv21/
Disallow: /arhiv/
Host: site.ru
Директива host предназначена для Яндекса. Другие роботы её игнорируют.
Тогда уж лучше вот так:
User-agent: Yandex
Disallow: /fv21/
Disallow: /arhiv/
Host: site.ru
User-agent: *
Disallow: /fv21/
Disallow: /arhiv/
Лучше сначала конкретику...
http://tool.motoricerca.info/robots-checker.phtml
Тогда уж лучше вот так:
User-agent: Yandex
Disallow: /fv21/
Disallow: /arhiv/
Host: site.ru
User-agent: *
Disallow: /fv21/
Disallow: /arhiv/
Лучше сначала конкретику...
То есть сначала конкретика? А потом для всех поисковых систем?
Sveta Prokopeva, ознакомтесь со стандартами файла роботс.
Согласен что какой-то робом может проигнорировать директиву, а некоторые могут и блок проигнорировать. Лучше соблюдать правила.
Talisman13, не верно. Вы и запрещаете, и разрешаете индексировать одновременно. Смотрите мой пример выше.
Смотрите мой пример выше
Хм.. как раз проверил по вашей схеме - чекер общий блок просит кинуть вниз:
WARNING: The block of code addressed to all spiders (User-agent: *) is not the last one. We advise you to move it at the bottom of the robots.txt file, to reduce interpretation problems with some old robots.
Я так понимаю что это нестрашно... Но так же ругается на команду Хост:
Host: site.ru
Unknown command. Acceptable commands are "User-agent" and "Disallow".
Вот тут не знаю почему... Составил робот первый раз. Может чего недопонял?
структура такая:
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: site.ru