Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

I
На сайте с 26.04.2008
Offline
137
Iwashka
275

Здравствуйте.

Подскажите пожалуйста, как правильно написать robots.txt, чтобы:

- ПС индексировали весь сайт, кроме ссылок plugins/extredj/*

- Объяснить ПС, что sitemap.xml находится в корне сайта

Спасибо :)

[Удален]
#1 

User-Agent: *
Disallow: /plugins/extredj/

User-Agent: Yandex
Disallow: /plugins/extredj/
Host: example.com
Sitemap: http://example.com/sitemap.xml

User-agent: Slurp
Crawl-delay: 5
Disallow: /plugins/extredj/
Tesmos
На сайте с 26.04.2008
Offline
72
Tesmos
#2

Все о robots.txt

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#3
Tesmos:
Все о robots.txt

Далеко не всё.

Ссылку на старьё даёте!

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий