- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте, мой robots.txt имеет такой вид:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /raznoe/
Disallow: /social/
Disallow: /sxd/
Disallow: /images/
Disallow: /component/search/
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /raznoe/
Disallow: /social/
Disallow: /sxd/
Disallow: /images/
Disallow: /component/search/
Host: www.mysite.ru
А куда теперь писать директиву sitemap с указанием адреса файла .xml?
Под директивой host?
Или sitemap нужно прописывать 2 раза под host и под Disallow: /component/search/ относящемуся к первому user agent.
Пожалуйста, если несложно, скопируйте мой роботс и вставьте с правильным указанием sitemap.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /raznoe/
Disallow: /social/
Disallow: /sxd/
Disallow: /images/
Disallow: /component/search/
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /raznoe/
Disallow: /social/
Disallow: /sxd/
Disallow: /images/
Disallow: /component/search/
Sitemap: http://www.mysite.ru/sitemap.xml
Host: www.mysite.ru
Если сайтмап в корне лежит.
Если сайтмап в корне лежит
А если сделать так, как Вы прислали это будет относиться и к другим роботам тоже? помимо яндекса?
А если сделать так, как Вы прислали это будет относиться и к другим роботам тоже? помимо яндекса?
А зачем вам под яндекс отдельные диррективы? Они же идентичны на сколько я вижу. Useragent:* и яндексу дает рекомендации тоже.
Useragent:* и яндексу дает рекомендации тоже.
Яндекс ведь требует директиву host, поэтому я сделал отдельно.
Яндекс ведь требует директиву host, поэтому я сделал отдельно.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /raznoe/
Disallow: /social/
Disallow: /sxd/
Disallow: /images/
Disallow: /component/search/
Sitemap: http://www.mysite.ru/sitemap.xml
Host: www.mysite.ru
Вот и все.
Вот и все.
насколько я знаю, host прописывается в отдельном правиле для Яндекса иначе остальные поисковики будут писать о том что имеется неверная запись в роботс....
насколько я знаю, host прописывается в отдельном правиле для Яндекса иначе остальные поисковики будут писать о том что имеется неверная запись в роботс....
Всегда прописываю host общим правилом и всё норм. По идее другие ПС, если этого не понимают, то должны просто это правило игнорировать.
Allow:
Disallow:
Host:
Sitemap:
Вот и вся структура robots для стандартного проекта.
Вот и вся структура robots для стандартного проекта.
Хорошо, а допустим я бы закрывал от разных ПС разные разделы своего сайта. То есть у меня были бы User-agent: Yandex, User-agent: Google и т.д.
В таком случае куда вписывать Sitemap?
В конец? После последнего User-agent?
Хорошо, а допустим я бы закрывал от разных ПС разные разделы своего сайта. То есть у меня были бы User-agent: Yandex, User-agent: Google и т.д.
В таком случае куда вписывать Sitemap?
В конец? После последнего User-agent?
Вот дотошный какой. Впишите после каждого. Это из той серии, а если ты потеряешь второй билет, то что? а на этот случай у меня проездной)