Выгнать поисковых ботов

Сделать доступ по https, например.

Бан IP ботов, делов - то.

Я тоже так считаю, поэтому ищу все ходы-выходы. Кэширование, nginx уже пробовал. Но надо статистику набирать по неделям, тогда видно будет, что эффективней.

P.S. Внимание: особо опасен Twiceler-0.9. Проверено.

Гляньте на Талке еще, может натолкнет на мысль какую тема _mastertalk.ru/topic87909s0.html

hubbiton, а вот интересно, после записей в .htaccess что получают роботы при запросе robots.txt?

Если они видят запрет, то не должны скачивать странички и метатеги должны быть уже пофиг.

Я не знаю, что они видят. Я вижу, что они есть в списке пользователей "посетивших форум за последние 5 мин" (там форум на phpbb3). И именно в это время они грузят форум настолько, что самому зайти с трудом удаётся (((

Evil_Programmers, бан по IP, в принципе, вариант, но он припасён на крайний случай. Их IP нигде не рекламируются и могут меняться

OnCat, сеньк, полистаю...

Я задал этот вопрос на сеошном форуме (а не на специализированном техническом) именно потому, что предположил, что есть какой-то вариант дать им отмашку "не ходить" каким-то "сеошным" способом. Техническая сторона вопроса (как то сменить сервер или оптимизировать скрипт) в данном контексте не очень в тему.

Довольно странно видеть такой неподдельный интерес к проблеме при полном отсутствии чтения и изучения лог-файлов.

Поверьте, это крайне занимательно, поучительно и полезно.

О, это очень секретный способ, называется robots.txt. Вместе с наблюдением за логами может прояснить мозг до полной прозрачности.

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^msnbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Yahoo [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Googlebot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Yandex [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^msnbot-media [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC]

RewriteRule ^(.*)  - [F]

Вы уверены в правильности своего .htaccess? Раз боты по сайту ходят, значит .htaccess их не блокирует.

ТС, вы уверены на 100%, что это боты ПС?

Проскакивала инфа, что "некоторые" личности умеют маскировать свою деятельность под ботов ПС.

Содержимое robots.txt я привёт в первом сообщении. Туда, по вашему мнению, надо что-то добавить/изменить?

Нет, не уверен. Именно поэтому и выложил для обсуждения.

Вот об этом я не думал... Это идея, сеньк! Надо ботам меньше прав дать на форуме - тогда, если это люди, им пропадёт интеерс под ботов маскироваться!