- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Уважаемые гуру, подскажите!
Можноли как то ограничить скорость с которой пауки шерстят сайт?
Например когда Гугл заходит и начинает шерстить сайт, съедает больше 2Мбит исхода, а когда несколько пауков одновременно могут и 10Мбит съесть! Если можно, то какую им скорость лучше разрешить, что бы это не сказалось пагубно на индексации?
Здравствуйте. Если я правильно понял Ваш вопрос, попробуйте последовать примеру, за которым далеко ходить не нужно.
Piligrim, а роботы примеру последуют? :) Вебальта, например, вообще роботс игнорирует..
6666, в случае в Вебальтой Гурешов предлагал решить проблему кардинально - попросить их, они забанят сайт, чтобы робот туда не ходил :)
А в принципе заявлено обратное: http://www.webalta.net/ru/about_webmaster.html, но про вебальту я ничего наверняка сказать не могу :)
Да, не забываем, что бывают и "отмороженные" боты ;)
ИМХО, Piligrim, я думаю, что пауки не являются серьезной проблемой для траффика. Если кто знает примеры того, что сервер лег из за пауков - пишите. С интересом почитаем и обсудим. Вообще, интересно мнение, сколько могут сьесть пуки за месяц.
Не считал, но думаю, 1гБ - предел.
Да, не забываем, что бывают и "отмороженные" боты
Да, их надо убивать, однозначно.. Где то был список..
Вообще, интересно мнение, сколько могут сьесть пуки за месяц
Вот мои данные вебалайзера по логам за август
Top 10 of 29933 Total Sites By KBytes
3049467 personal.novoteka.ru
2539813 spider.meta.ua
1396164 crawl-66-249-65-205.googlebot.com
986727 crawl-66-249-72-164.googlebot.com
911401 crawl-66-249-72-42.googlebot.com
790008 verb.yandex.ru
410327 crawl-66-249-72-162.googlebot.com
408778 sfront29.yandex.ru
390802 info.rambler.ru
369719 crawl-66-249-66-17.googlebot.com
Вроде, переходов с выдачи тут нет, хотя могу тупить...
Актуально. Хостинг нагибается от гугля.
как можно ограничить временный интервал запросов страницы? ну например, между запросами выдерживать паузу в 3 секунды?
реально это?
хостер меня придушит...
ИМХО, PiligrimНе считал, но думаю, 1гБ - предел.
У меня за август по данным awstats
Unknown robot (identified by 'crawl') 62441+284 478.98 MB 31 Авг 2006 - 22:54
Googlebot 37423+57 602.23 MB 31 Авг 2006 - 23:48
Inktomi Slurp 19725+1604 199.35 MB 31 Авг 2006 - 23:50
MSNBot 4200+381 124.31 MB 31 Авг 2006 - 23:46
Unknown robot (identified by 'robot') 3251+2 13.66 MB 31 Авг 2006 - 23:48
Unknown robot (identified by hit on 'robots.txt') 0+1173 328.74 KB 31 Авг 2006 - 23:48
Unknown robot (identified by 'spider') 602+69 25.68 MB 31 Авг 2006 - 23:59
Alexa (IA Archiver) 10+10 216.11 KB 31 Авг 2006 - 22:32
Scooter 0+10 3.56 KB 31 Авг 2006 - 06:44
Voyager 2+2 35.26 KB 20 Авг 2006 - 20:51
EchO! 2 35.76 KB 10 Авг 2006 - 01:00
Nomad 1 178.65 KB 31 Авг 2006 - 09:46
Правда на работе сайта это сказывается не значительно, иначе я бы заметил да и хостер бы мне сообщил.
Во-во. у меня тож самое - сильно траф кушает гугля. больше всех😡
Ребята, просто берите нормальный хостинг где таких проблем нет by design.