- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Посмотрел в сегодняшний ночной лог вебсервера и ахнул: робот Яндека просто "взбесился". :eek:
За время с 05:45 до 07:07 был сделан 401 запрос к серверу. При том, что это приведены запросы к динамике.
Заметил, что с момента предыдущего запроса (который был в 01:13), изменился user agent: с Yandex/1.03.000 (compatible; Win16; M) на Yandex/1.01.001 (compatible; Win16; I). Раньше Яндекс ходил аккуратно и регулярно, сервер сильно не грузил. Этой ночью интервалы запросов были в среднем через 12 секунд, в пиках - через 1-2 секунды.
Это связано как-то с запуском сервиса Яндекс.Картинки или нашим сайтом просто решили "конкретно" заняться?
bk_man
Ты что, смеешься? Это вполне нормальное поведение робота. Даже вполне умеренное. Этот сайт, к примеру, весь на динамике, за сутки отрабатывает около 4000 хитов. Придет Яндекс - будет отрабатывать на 10% больше. Или ты боишься, что у тебя сервер повесится? :)
UserAgent не менялся - это другой робот Яндекса.
Если подобное поведение робота грузит тебе сервер - ну, кроме совета дать по кривым рукам админу, мне больше в голову ничего не приходит. Нормально настроенный сервер вполне способен отработать 400 запрос к динамике за пару минут.
нет... тут другое странно... 400 запросов за 1,5 часа... это очень неплохо!!! Особенно для Яндекса. Как бы яндекс не изменил обходчика, политику индексирования или аппаратную платформу.
Что касается различий в названиях роботов - то скорее всего это действительно разные агенты - один допустим проверяет страницы на живучесть, а другой забирает страницы.
Это не скорее всего - это так и есть. Этим вопросом мы задавались очень давно. И давно же все выяснили
bk_man
Или ты боишься, что у тебя сервер повесится? :)
Нормально настроенный сервер вполне способен отработать 400 запрос к динамике за пару минут.
То, что сервер повесится, не боюсь (спасибо огромное Игорю Сысоеву за mod_accel), но задача робота - аккуратно индексировать сервер, а не пинать через пару секунд. Хотя наверное это моё ИМХО.
А вот прои динамику - вопрос интересный.
Действительно большого наплыва посетителей (коего ни мне, ни данному, простите, сайту не снилось) не выдерживает. Умеренная статика с удачно подобранным временем кэширования - так будет лучше. Опять же IMHO.
Хм... Значит, руки у админа все же кривые.
Этот, простите, сайт скромненько себе сидит на виртуал аккаунте за $10 в месяц и абсолютно не мешает своим 100 соседям по серверу.
По опыту могу сказать - нормально настроенный сервер, средней ценовой группы, не напрягаясь, держит штук 60 таких аккаунтов, на каждом из которых посещаемость составляет до 1000 посетителей в час. При чем каждый раз срабатывает mysql и так далее. Кстати, самым тяжелым процессом при этом оказывается httpd.
Это не скорее всего - это так и есть. Этим вопросом мы задавались очень давно. И давно же все выяснили
Да, конечно. Но там нет такого товарища: Yandex/1.01.001+(compatible;+Win16;+P). Пережрал у меня все картинки, а их у меня более 15мб😮, причем только картинки. Может этот робот на картинках только и специализируется?
Дык недавно проект Яндекс-картинки запустили
Дык недавно проект Яндекс-картинки запустили
Плавали, знаем ;). Я об этом, конечно, в первую очередь и подумал. Тем более, что P скорее всего означает Pictures. Интересный факт у меня еще получился - сервер IIS, при запросе robots.txt выдал этому роботу ответ 406. Только ему, остальным роботам нормально отвечал 200. 406 - source not acceptable (неприятный, не удовлетворительный), так да?
Что же именно случилось? Что не понравилось и кому?
User-Agent: *
Disallow: /css/
Disallow: /scripts/
Спасибо
Плавали, знаем ;). Я об этом, конечно, в первую очередь и подумал. Тем более, что P скорее всего означает Pictures. Интересный факт у меня еще получился - сервер IIS, при запросе robots.txt выдал этому роботу ответ 406. Только ему, остальным роботам нормально отвечал 200. 406 - source not acceptable (неприятный, не удовлетворительный), так да?
Что же именно случилось? Что не понравилось и кому?
User-Agent: *
Disallow: /css/
Disallow: /scripts/
Спасибо
406 означает, что ресурс не в том формате, который нужен клиенту.
406 означает, что ресурс не в том формате, который нужен клиенту.
В смысле? А как же все остальные роботы, в том числе и Яндекса, получают в том формате?