Форум Сайтостроение Веб-строительство

Как закрыть в robots.txt корневой файл?

12
Каширин
На сайте с 03.01.2004
Offline
1018
Каширин
#11
Antar:
Disallow: /*ratings=1$
Disallow: /*comments=1$

Отставить звездочки и знаки доллара - Яндекс их не понимает в robots.txt

A
На сайте с 27.12.2006
Offline
15
Antar
#12

Спасибо. То есть без мод реврайт такие ссылки от Я. не отсечь...

Tе же проблемы у многих с принтверсиями страниц, выдаются вместо нормальных.

Тогда еще вопрос: Google понимает? Может оставить только для его user-agent?

EDIT:

3. Некоторые системы разрешают использование регулярных выражений. Так Гугл, который имеет поиск по изображениям, файлам PDF и другим, поддерживает в поле Disallow символы «*» (любая последовательность символов) и «$» (окончание строки ссылки). Это позволяет запретить индексирование определенного типа файлов:
User-agent: Googlebot
Disallow: *.pdf$
#Запрет индексации файлов PDF

с гуглом ясно.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Евген
На сайте с 28.02.2004
Offline
1040
Евген
#13
Antar:
Спасибо. То есть без мод реврайт такие ссылки от Я. не отсечь...

чень даже отсечь и уже сказали как.

другой вопрос если надо отсечь

/login?1

/login?2

/login?n

а

/login?10 - nn оставить

то тогда роботсом врядли справиться.

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
A
На сайте с 27.12.2006
Offline
15
Antar
#14

Где сказали? Можете ткнуть ссылкой?

Junior
На сайте с 19.04.2005
Offline
58
Junior
#15
Antar:
Tе же проблемы у многих с принтверсиями страниц, выдаются вместо нормальных.

А эхом вдалеке "CSS, CSS...." ;)

Труженик КП, ТЗ и ИА
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий