Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по Robots.txt

X-whisper
На сайте с 01.05.2006
Offline
148
X-whisper
342

Решил закрыть все блоги на сайте через Robots.txt, кроме администраторского, т.к. пользы от копипаста школоты нет.

Возник вопрос правильности составления.

User-agent: *
Disallow: /blog.php
Allow: /blog.php?nik=admin
Allow: /blog.php?nik=admin&page=*
Allow: /blog.php?nik=admin&id=*
Allow: /blog.php?nik=admin&id=*&page=*
Мне не хватает внимания со стороны поисковиков, обнимите меня кто-нибудь. Аватары (http://avatarko.ru/)
Алексей Барыкин
На сайте с 04.02.2008
Offline
272
Алексей Барыкин
#1

http://help.yandex.ru/webmaster/?id=996567#996571


Совместное использование директив.

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры, если: 

User-agent: Yandex

Allow: /cgi-bin

Disallow: /

# запрещает скачивать все, кроме страниц 

# начинающихся с '/cgi-bin'



User-agent: Yandex

Disallow: /

Allow: /cgi-bin

# запрещает скачивать весь сайт
https://adminbook.ru/
X-whisper
На сайте с 01.05.2006
Offline
148
X-whisper
#2

Спасибо, на сколько я понял, директивы "Allow:" надо просто поставить выше "Disallow:"

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#3

Да, просто поставьте директивы "Allow" выше "Disallow". :)

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий