Форум Сайтостроение Веб-строительство

Роботы валят сервер!..

Alexey D.K.
На сайте с 19.01.2006
Offline
202
Alexey D.K.
732

Поисковые роботы валят сервер на котором размещен сайт доски объявлений на скрипте "Jozefina".

Можно ли найти "лекарство"?

✔ Ну так это... Алексей Д.К.
Z
На сайте с 23.05.2007
Offline
69
Ziby
#1

Alexey D.K., умерить пыл поисковых роботов Yahoo и MSN Вы можете с помощью дополнительной директивы, как Crawl-delay в robots.txt.

Значением данной директивы должна быть цифра, которая указывает время в секундах между обращениями робота к сайту. 

User-agent: Slurp

User-agent: msnbot

Disallow: 

Crawl-delay: 10

Для роботов других поисковых систем лекарство не встречал :(

emzi
На сайте с 17.01.2007
Offline
46
emzi
#2
Ziby:

Для роботов других поисковых систем лекарство не встречал :(

не скажу за всех роботов, но вебальту удалось этим параметром нормально усмирить

deepslam
На сайте с 09.05.2006
Offline
204
deepslam
#3

Напишите мне в личку, сейчас как раз тестируем новый продукт Scripto , 2-3 людям дам бесплатно и помогу настроить :-)

Удаление вирусов на сайте (http://www.virusonsite.ru) | Scripto CMS - бесплатная система управления сайтом (http://www.scripto-cms.ru) |Профессиональный скрипт каталога ссылок , статей, фирм и объявлений! (http://www.scripto.ru) | Уникальный скрипт для публикации контента (http://publisher.scripto.ru)
[Удален]
#4
Alexey D.K.:
Поисковые роботы валят сервер на котором размещен сайт доски объявлений на скрипте "Jozefina".
Можно ли найти "лекарство"?

Может движок сменить?

A4
На сайте с 09.08.2007
Offline
55
Alexei42
#5

Прикрутить nginx/lighttpd на frontend (если это до сих пор не сделано)?

Настройка nginx и сопутствующего софта на freebsd/debian. Контакт через PM.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий