яша игнорирует роботс.тхт :(

Речь об этом?

Надо вот так:

боюсь что так как раз не надо )

добавил ваше правило, в панели вебмастера (раздел "Анализ robots.txt") все равно написано :

Результаты проверки URLURL Pезультат

http://itnsk.net/?inc=vacs_list&det_id=100907 запрещен правилом /*vacs_list&det_id=*

т.е правило то рабочее, вот только оно никак не мешает роботу постоянно тусоваться на этом сайте.

вариант с crawl-delay не устраивает потому как остальные страницы хотелось бы индексировать нормально без всяких там задержек ..

TNT добавил 15.08.2008 в 07:47

зыж: проблема решена, понял как это можно использовать в своих корысных целях ))))) всем спасибо за внимание ;-)

Это почему же?

Это не входит в функции robots.txt

PS Кстати, обрати внимание на расположение директив в секции ...

Все верно говорит! Правьте секцию для Яши как надо! Часто замечал, что если есть секция для Яши, то его робот игнорирует все, что не в его секции!!!

Я, конечно, эээ извиняюсь. Но какой смысл был бы тогда в отдельной секции, если бы робот Яндекса читал и учитывал общую секцию?

смысл таких разрешающе-запрещающих конфигов: "от общего к частному"..

по такому принципу устроены конфиги апача, конфиги файрволлов, да те же самые права на файлы в UNIX-системах так даются: сначала устанавливаем права на папку потом конкретизируем права на файл = сначала устанавливаем права для всех роботов потом конкретно запрещаем что-то каждому в отдельности ..

TNT добавил 16.08.2008 в 04:35

потому что я проверил ваш вариант в панели вебмастера яшиной, панель сказала что он нерабочий..;)