Почему яндекс игнорирует robots?

FM
На сайте с 21.04.2004
Offline
125
916

заметил, что яндекс проиндексировал страницы, которые запрещены к индексации.

яндекс игнорирует Disallow:/search

просто походы робота по таким ссылкам поиска - сильно грузят сервер ... что вызывает довольно высокую нагрузку и заторможеный ответ сервера ...

или мне лучше программного проверять по юзер агенту робота и не выполнять тяжёлые запросы к базе ?

то есть пустую страницу давать ...

K
На сайте с 31.01.2001
Offline
737
#1

Можно взглянуть на пример?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
FM
На сайте с 21.04.2004
Offline
125
#2

отправил в личку ...

T
На сайте с 11.08.2005
Offline
181
#3
FreeMarket:
заметил, что яндекс проиндексировал страницы, которые запрещены к индексации.
яндекс игнорирует Disallow:/search

Правильно писать через пробел Disallow: /search

Вы проверяли, как Яндекс видит Ваш robots.txt?

http://www.yandex.ru/cgi-bin/test-robots?host=www.site.com

FM
На сайте с 21.04.2004
Offline
125
#4

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/search

хотя написано без пробела.

а обязательно пробел и слеш ставить ?

может потому, что без слеша было сначала...

SG
На сайте с 14.03.2007
Offline
45
#5

FreeMarket, слеш обязательно, пробел тоже обычно ставят.

FM
На сайте с 21.04.2004
Offline
125
#6
Отсутствие слешей при указании директории
Как в этом случае поступит робот?

User-agent: Yandex
Disallow: john

По стандарту, он не будет индексировать файл с именем “john” и директорию с именем “john”. Для указания только директории надо писать так:

User-agent: Yandex
Disallow: /john/

взято с http://robotstxt.org.ru/RobotstxtErrors

возможно что из за того что не было пробела ... но и это мне кажется сомнительно

K
На сайте с 31.01.2001
Offline
737
#7
Timen:
Правильно писать через пробел Disallow: /search

Оказалось, что в стандарте допускается отсутствие пробела

"<field>:<optionalspace><value><optionalspace>".

А вот если раньше не было слеша впереди, тогда конечно.

FM
На сайте с 21.04.2004
Offline
125
#8

я же привёл довод того, что слеш лишь указывает на папку. если слеша нету, то это может быть как файл search.php так и просто папка search, робот не должен индексировать получается всё что содержит слово search.

или слеш в начале говорит только о том что индексация с корня то есть

site.com/search запрещена, а если у меня site.com/dir/search запретит ли

директива Disallow: /seach

Григорий Селезнев
На сайте с 25.09.2001
Offline
298
#9
FreeMarket:
а если у меня site.com/dir/search запретит ли
директива Disallow: /seach

нет, читайте стандарты, тема пошла в "вопросы от новичков"

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий