Выгнать поисковых ботов

12 3
H
На сайте с 15.02.2010
Offline
105
1364

Задача прямо противоположная большинству тут обсуждаемых: я не хочу, чтобы на сайте тусовался Яндекс с друзьями, не хочу видеть ресурс в индексе. Что предприянть?

Когда он был создан 1.5 года назад - было в robots.txt прописано

User-agent: *
Disallow: /

и всё было тихо. Потом однажды было принято решение (ошибочное) открыть ресурс для индексации и вторую строчку удалили. Сейчас он достаточно хорошо проиндексирован и боты там просто живут, что создаёт огромную нагрузку на не слишком мощный сервер, мешая работе пользователей.

Вот теперь непонятно, как их прогнать. robots.txt привели опять к указанному выше виду, в .htaccess прописано


RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^msnbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Yahoo [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^msnbot-media [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC]
RewriteRule ^(.*) - [F]

но поисковики (в т.ч указанные по юзер-агентам) всё равно шарятся день и ночь, в индексе самые свежие страницы (((

Предвидя вопросы: ресурс корпоративный, форум на phpbb3, в основном - для своих. Для остальных есть ссылка на другом (главном) сайте. Фильтровать по IP не вариант, сотрудники и другие нужные люди ходят с разных динамических IP, вводить доп. авторизацию на входе тоже не хочется - манагеры вопросами замучают.

Роман
На сайте с 30.04.2008
Offline
261
#1

яндекс и гугл потом перестанут шариться, просто не сразу перестают бегать

тегами закройте:

<META NAME="ROBOTS" CONTENT="NOINDEX">

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

или разом:

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

OR
На сайте с 20.11.2008
Offline
20
#2

У меня такая же проблема с Google. Если надо просто поумерить его пыл? Не прогонять, а намекнуть, мол, пореже, дружок, пореже...

Создание и продвижение сайтов от 3000 руб. "У нас будет два интернета: один для здравомыслящих людей, а второй, – в зоне «.рф»" (М. Якушев)
[Удален]
#3
onekurs.ru:
пореже, дружок, пореже...

http://help.yandex.ru/webmaster/?id=996567#1022359

OR
На сайте с 20.11.2008
Offline
20
#4

Не помогает. Там смешные задержки указаны - 2,5. Ставлю 1500 - все равно нагрузка. Когда баню - сайт летает и отдыхает.

The WishMaster
На сайте с 29.09.2005
Offline
2543
#5
hubbiton:
что создаёт огромную нагрузку на не слишком мощный сервер

Сервер менять надо. Или скрипты оптимизировать.

Пешу текста дешыго! Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
OR
На сайте с 20.11.2008
Offline
20
#6
The WishMaster:
Сервер менять надо. Или скрипты оптимизировать.

О! Опять эта фраза! И хостер так сказал - оптимизируйте скрипты. А что конкретно имеется в виду? Замерил время выполнения скриптов - не больше 0.12 с. Объем памяти, занимаемого скриптом 256К.

The WishMaster
На сайте с 29.09.2005
Offline
2543
#7

Это вопрос к программерам.

H
На сайте с 15.02.2010
Offline
105
#8
The WishMaster:
Сервер менять надо. Или скрипты оптимизировать.

Скрипт оптимизировать уже некуда, а менять из-за этого сервер (при таких исходных) - это всё равно что поставить двигатель помощнее когда колёса не крутятся.

Там всё просто летает, пока ботов нет!

hubbiton добавил 24.05.2010 в 01:23

Roman77, спасибо за идею, теги прпрописал, посмотрим на результат...

The WishMaster
На сайте с 29.09.2005
Offline
2543
#9
hubbiton:
Там всё просто летает, пока ботов нет!

Если боты грузят сервер, значит, он криво настроен. Ну, или скрипты кривые.

H
На сайте с 15.02.2010
Offline
105
#10

... или нагрузка слишком высока. Со своими штатными задачами он справляется с большим запасом и тут вопрос стоит не в том, как оптимизировать сервер/скрипт, а как убрать совершенно бесполезную нагрузку.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий