301 редирект
Для форумов давно такая штука наблюдается
Наврятли парсер стал бы яваскрипты выполнять на странице
semenov добавил 19.02.2011 в 10:07
Защита от совсем уж пианеров
Голосовой поиск что-ли?
http://yandex.ru/yandsearch?text=robots.txt+wordpress
Нормально, порнушка - двигатель прогресса
Да там автоматические рассылки от имени пользователей, автосгенеренную хуету за километр видно
Как вы про неё узнали вообще?
> Либо сделать оба запрета одновременно, но в .htaccess оставить возможность боту скачивать robots.txt
Самый адекватный вариант
Ну, прям-таки и с него
