- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Собственно дело в том что яндекс, юзер-агент Yandex/1.01.001 (compatible; Win16; I) довольно таки успешно создает нагрузки своими "набегами" длящимися примерно минут по 15-20. "Дергает" страницы практически без пауз, в лучшем случае 2 секунды между запросами, забирает несколько сотен, потом перерыв. Через час-два-день снова. Иногда и целыми часами терроризирует. Сегодня ночью вообще DDoS-ил фактически в течении нескольких часов причем по часу дергал корневые страницы субдоменов с динамическим контентом - зачем???
Гугль в отличии от яндекса те же сотни страниц скачивает очень деликатно - в течении дня примерно по странице-две в минуту - и никаких проблем. В общем я где-то читал что паукам можно (было?) указать некую директиву влияущую/изменяющую время между запросами к серверу.
Сразу говорю - смотрел на сайте яндекса, данный форум, пробовал поиском - ничего.
Если кто-то в курсе, пожалуйста помогите, постоянно возникающие нагрузки уже в печенках сидят, да и хостер тоже на меня давит :(
В общем я где-то читал что паукам можно (было?) указать некую директиву влияущую/изменяющую время между запросами к серверу.
Кажется это Crawl-Delay в robots.txt, которая, работает в Yahoo и MSN, но к большому сожалению (если ничего не изменилось) ни в Яндексе ни в Гугле она не работает.
Да, верно, вот директивы для файла robots.txt:
User-agent: *
Crawl-delay: 10
Жаль что яндекс на них не реагирует :(
На сколько мне известно, подобных директив для Яндекса нет.
Соответственно, совет только один, менять хостера.
Хотя если и это не поможет, то стоит подумать об оптимизации работы движка, может сам движок сервер подгружает?
Собственно дело в том что яндекс, юзер-агент Yandex/1.01.001 (compatible; Win16; I) довольно таки успешно создает нагрузки своими "набегами" длящимися примерно минут по 15-20. "Дергает" страницы практически без пауз, в лучшем случае 2 секунды между запросами, забирает несколько сотен, потом перерыв. Через час-два-день снова. Иногда и целыми часами терроризирует. Сегодня ночью вообще DDoS-ил фактически в течении нескольких часов причем по часу дергал корневые страницы субдоменов с динамическим контентом - зачем???
Гугль в отличии от яндекса те же сотни страниц скачивает очень деликатно - в течении дня примерно по странице-две в минуту - и никаких проблем. В общем я где-то читал что паукам можно (было?) указать некую директиву влияущую/изменяющую время между запросами к серверу.
Сразу говорю - смотрел на сайте яндекса, данный форум, пробовал поиском - ничего.
Если кто-то в курсе, пожалуйста помогите, постоянно возникающие нагрузки уже в печенках сидят, да и хостер тоже на меня давит :(
Можно скриптом ограничить скачивание, замедляя скорость отдачи контента сильно желающим
Можно скриптом ограничить скачивание, замедляя скорость отдачи контента сильно желающим
Не совсем так - на моем хостинге чем быстрее, тем лучше. А если задерживать контент искуственно, например так - <?php sleep(1) ?>, то только хуже будет, т.к. в формулу расчета нагрузки хостинга входит время исполнения скрипта.
А контент сайта специфичный - страницы берутся с удаленного сервера, потому время исполнения приличное - 0.5-1 сек. Понятно, что прямой нагрузки на процессор сервера практически нет, но формула берет это самое суммарное время исполнения скриптов за 15 минут и выдает уже в предупреждении о нагрузке. К примеру, яндекс прошелся по 200 страницам за 7 минут, и создал в панели вот такую строчку:
Начало периода Конец периода Процент нагрузки Процессорное время LA сервера
007-06-17 20:15:01 2007-06-17 20:30:01 8.97 % 2.69 min 4.25
Не будь он (яндекс) таким стремительным, не было бы и предупреждений.🙅
Elizov, Мне кажется Вам банально разбираться с хостингом...........
У меня на виртуалке роботы Яндекса в сутки индексируют около 40.000 страниц (на 4 доменах) и никакой нагрузки и никаких жалоб от хостера
Не совсем так - на моем хостинге чем быстрее, тем лучше. А если задерживать контент искуственно, например так - <?php sleep(1) ?>, то только хуже будет, т.к. в формулу расчета нагрузки хостинга входит время исполнения скрипта.
А контент сайта специфичный - страницы берутся с удаленного сервера, потому время исполнения приличное - 0.5-1 сек. Понятно, что прямой нагрузки на процессор сервера практически нет, но формула берет это самое суммарное время исполнения скриптов за 15 минут и выдает уже в предупреждении о нагрузке. К примеру, яндекс прошелся по 200 страницам за 7 минут, и создал в панели вот такую строчку:
Начало периода Конец периода Процент нагрузки Процессорное время LA сервера
007-06-17 20:15:01 2007-06-17 20:30:01 8.97 % 2.69 min 4.25
Не будь он (яндекс) таким стремительным, не было бы и предупреждений.🙅
Верно, про общее время исполнения я не подумал, я думал у вас проц грузится сильно.
Все зависит от страницы, есть очень тяжелые в плане генерации
У меня на виртуалке роботы Яндекса в сутки индексируют около 40.000 страниц (на 4 доменах) и никакой нагрузки и никаких жалоб от хостера
Ну вообще-то через мой сервер в сутки проходит более 50000 человек разношерстной публики + пауков (нет нужды ограничивать) + контент картиночный - посему огромное количество визитов (около полумиллиона) и виртуальный сервер выдерживает (нагрузок нет ВООБЩЕ).
Как вы думаете - мои скрипты оптимизированы??? Для справки - среднее время исполнения скрипта 0.002-0.005 сек
Но вот незадача - на этом же домене есть субдомены с партнеркой (так уж исторически сложилось) и посещаемость там мизерная - 100-200 человек, но вот страницы обновляются с удаленного сервера с низким временем отклика. Конечно, давным-давно приделал я кэш чтобы снизить кол-во обращений к другому серверу, но иногда кэш нужно обновлять :( .
И вот приходит бешеный неуправляемый паук яндекса и нарушает идилию.
Интересно другое - почему разработчики яндекса не добавят возможность настройки скорости индексирования хотя бы через директиву Crawl-Delay. 😕
А 304 статус чтоб отдавало реально прикрутить к движку?
Да, только 304 можно сказать пшел вон. Не известно, послушает паук или нет заголовок, по идее должен послушать. Только разобраться когда нужно отдавать 304 а когда уже пора бы и пустить попастись.