Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

Ingvarr
На сайте с 26.04.2009
Offline
452
Ingvarr
531

Как запретить от индексации страницы типа /blog/2011-10-30 , но разрешить /blog/2011-10-30-576 ?

ingvarr.net.ru (http://ingvarr.net.ru/?utm_source=searchengines&utm_medium=podpis)
WebAlt
На сайте с 02.12.2007
Offline
266
WebAlt
#1 

User-agent: *

Allow: /blog/2011-10-30-576

Disallow: /blog/2011-10-30
K
На сайте с 31.01.2001
Offline
737
Kost
#2

Allow: /blog/*-*-*-

Disallow: /blog/*-*-

Но в связи с новыми правилами, надо проверять.

P.S. WebAlt, а для всех остальных цифр и дат? :)

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
WebAlt
На сайте с 02.12.2007
Offline
266
WebAlt
#3
Kost:
Allow: /blog/*-*-*-
Disallow: /blog/*-*-

Но в связи с новыми правилами, надо проверять.

P.S. WebAlt, а для всех остальных цифр и дат? :)

Действительно!:)

Ingvarr
На сайте с 26.04.2009
Offline
452
Ingvarr
#4

А как запретить все страницы, которые заканчиваются на - , но при этом чтобы индексировались страницы, содержащие - в адресе?

K
На сайте с 31.01.2001
Offline
737
Kost
#5
Ingvarr:
запретить все страницы, которые заканчиваются на -

Disallow: /*-$

Ingvarr, что, RTFM никак не идет?

A8
На сайте с 06.04.2010
Offline
59
aleks8888
#6

Kost, подскажите пожалуйста, как запретить Bing-у индексировать сайт?

Берегите здоровье!
Илья Игоревич
На сайте с 07.02.2010
Offline
100
Илья Игоревич
#7

запрет индексирования для Bing (MSN), запреты для разных ПС разделяем строкой пустой. 

User-agent : Slurp

Disallow : /
A8
На сайте с 06.04.2010
Offline
59
aleks8888
#8

Илья Игоревич, около 3 недель назад так сделал, а результата нет. Может мало времени прошло или ещё как-то можно закрыть?

Илья Игоревич
На сайте с 07.02.2010
Offline
100
Илья Игоревич
#9

aleks8888, к сожалению с бингом не работаю, всё больше с яндексом и гуглом. яндекс сжирал роботс у меня дней за 7.

если роботс больше 32КБ - он считается разрешающим. если пс его не находит (404) - тоже разрешающий.

Avito, ЦИАН и 2ГИС Удаление страниц из индекса bing как повысить индексацию?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий