- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
когда на пике лезет под две сотни ботов в минуту - это равносильно ДДОС атаке
По моему несколько преувеличено :)
У меня 200 ботов в любую минуту сидят на сервере.
Более-менее активных сайтов 17 штук. Общее кол-во страниц больше миллиона.
Жарко бывает когда кроме ботов и посетителей ещё и сапа налетает качать по 2 страницы в секунду с каждого из 14 сайтов, добавленных в неё.
Quad Core Xeon X3430 4x2.4 GHz/RAM:8GB/HDD:2x250GB/traffic:10TB/port:1Gbit
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
У меня 200 ботов в любую минуту сидят на сервере.
Вопрос, чем они там занимаются, вот если все 200 ботов пойдут в поисковые формы и разные поиски по параметрам...
Вопрос, чем они там занимаются, вот если все 200 ботов пойдут в поисковые формы и разные поиски по параметрам...
Половина сайтов - файловые архивы. 1 файл = 1 страница. На все страницы в реальном времени транслируется разная статистика и новости, так что боты живут на сервере.
Вот откуда массовое утверждение, что Crawl-delay в роботсе не работает??!
Выставил Crawl-delay: 5 - В логах реально нет заходов бинга чаще 5 сек.
Итог: аптайм сервера 4 дня, всё летает! :p
Вот откуда массовое утверждение, что Crawl-delay в роботсе не работает??!
Выставил Crawl-delay: 5 - В логах реально нет заходов бинга чаще 5 сек.
Итог: аптайм сервера 4 дня, всё летает! :p
Работает-работает, куда он денется. В свое время приходилось так же убивать робота Yahoo - тоже границ не знал.
Crawl-delay нужно выставлять лишь из соображений кол-ва сайтов. Если сайтов 100, то и общая нагрузка на сервер будет в 100 раз больше прописанной в Crawl-delay для каждого сайта.
Работает-работает, куда он денется. В свое время приходилось так же убивать робота Yahoo - тоже границ не знал.
Crawl-delay нужно выставлять лишь из соображений кол-ва сайтов. Если сайтов 100, то и общая нагрузка на сервер будет в 100 раз больше прописанной в Crawl-delay для каждого сайта.
Ещё бы в гугле он работал...
Ещё бы в гугле он работал...
ага, вижу несколько точек во вчерашних логах, где бот заходил с интервалом 0-3 сек (хотя кроул-дилэй:5). Но для него ж можно в WMT ограничение прописать.
ага, вижу несколько точек во вчерашних логах, где бот заходил с интервалом 0-3 сек (хотя кроул-дилэй:5). Но для него ж можно в WMT ограничение прописать.
и делать это придётся каждые 3 месяца, если не ошибаюсь