- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток уважаемые знатоки! помоги разобраться в проблеме
Пред история -
Интернет магазин на Opencart 1.5..
Седели на хостинге
ukraine.com.ua
Но нам там не хватало оперативки на обработку (отдачу) прайса в xml виде . "Модуль Яндекс.Маркет"
Переехали на hvosting.ua эта проблема решилась , но начались невероятные нагрузки на процессор.
Хостер говорит, что проблема в Яндекс боте
[[ -- Requests by IP -- ]]
-- [[ shopauto.com.ua ]] --
42716 130.193.50.2 [RU] spider-130-193-50-2.yandex.com
41106 130.193.50.24 [RU] spider-130-193-50-24.yandex.com
5623 5.255.253.42 [RU] spider-5-255-253-42.yandex.com
1692 130.193.37.29 [RU] spider-130-193-37-29.yandex.com
794 93.158.152.49 [RU] spider-93-158-152-49.yandex.com
302 141.8.142.23 [RU] spider-141-8-142-23.yandex.com
285 5.255.253.54 [RU] spider-5-255-253-54.yandex.com
[[ -- Requests per day -- ]]
2016-01-31 70240
2016-02-01 22278
Примеры посещаемых URL (!!! почему-то он их сканирует по многу раз — в
частности эти — по 23 раза, возможно у вас движок их отдает с очень малым
временем валидности?):
/avtozapchasti/akkumulyatory/akkumulyatoryakb-galaxy-optimal-power-silver-85-ah12v-276x17.html
/bezopasnost-avto/znaki-avariynye/znaki-zhilety-avarijnye-procheezhilet-avarijnyj-oranzhevyj-x-1.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotacitroen-c5-s-2001-2004-gv-deflektor-kapota.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotanissan-navara-d22-c-2001-2005-gv-deflektor.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotassang-yong-korando-s-2010-gv-deflektor-kapo.html
/deflektory-spoylery-nakladki/deflektory-kapota/deflektory-kapotatoyota-corolla-e12-c-2001-2007-sdn-deflekto.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonchevrolet-cruze-wagon-2012-deflektory-okon-ve.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonhyundai-accent-2010-deflektory-okon-vetroviki.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonjeep-grand-cherokee-2-1999-2004-deflektory-ok.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonopel-vectra-1988-1995-4d-vstavni-kt-4sht-defl.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonrenault-latitude-2010-2013-deflektory-okon-ve.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonrenault-scenic-iii-2009-deflektory-okon-vetro.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonsuzuki-sx4-2006-4d-kleyush-sya-kt-4sht-hb-def.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okontoyota-corolla-10-2007-2012-4d-kleyush-sya-kt.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonvolkswagen-golf-2-1983-1987-2d-vstavni-kt-2sh.html
/deflektory-spoylery-nakladki/deflektory-okon/deflektory-okonvolkswagen-pointer-hb-5d-2003-parati-1999-200.html
/deflektory-spoylery-nakladki/zashchita-far/zashita-fartoyota-land-cruiser-200-2007-2011-zashita-far-kar.html
/dlya-gruzovikov/detali-iz-plastika/detali-iz-plastikakronshtejn-fary-daf-xf-95-1997-2002-levyj.html
/dlya-gruzovikov/detali-iz-plastika/detali-iz-plastikapanel-golovnoj-fary-daf-xf-95-2002-xf-105-1.html
/dopolnitelnoe-oborudovanie/kompressory/kompressorykompressor-12-volt-12a-10-atm-27lmin-prikurivatel.html
/dopolnitelnoe-oborudovanie/kompressory/kompressorykompressor-voin-vl-580-150psi-15amp-38l-prikuriva.html
/dopolnitelnoe-oborudovanie/optika-dopolnitelnaya/optika-dopolnitelnayafara-dopolnitelnaya-d65mm-cvet-stekla-b.html
/dopolnitelnoe-oborudovanie/optika-dopolnitelnaya/optika-dopolnitelnayafary-dnevnogo-sveta-1w6led-1812239mm-el.html
/eksterer/bagazhniki/bagazhnikibagazhnik-avtomobilnyj-dromader-d-1-alyuminievyj-1-2.html
/eksterer/bryzgoviki/bryzgovikibryzgoviki-opel-astra-j-hb-09-zadnie-komplekt-2sht.html
/eksterer/bryzgoviki/bryzgovikibryzgoviki-suzuki-grand-vitara-perednie-udlenennye.html
/eksterer/zerkala-legkovye/zerkala-legkovyezerkalo-bokovoe-zb-f2-p-black-led-metal-cher.html
/instrument/nabory-instrumentov/nabory-instrumentovinstrument-hans-bita-30mmspline-m10-10mm0.html
/instrument/nabory-instrumentov/nabory-instrumentovinstrument-hans-torcevaya-golovka-38dr-6-4.html
/instrument/nabory-instrumentov/nabory-instrumentovotvertka-krest-rn-1-100mmop1100n-op1100n.html
/interer/aksessuary-salona/aksessuary-salonapodsvetka-salona-12v-27x27mm-15smd-3528-3-a.html
/interer/chehly-modelnye/chehly-modelnyechehly-avtomobilnye-dlya-chevrolet-lanos-s-20.html
/interer/chehly-modelnye/chehly-modelnyechehly-avtomobilnye-dlya-daewoo-gentra-2013-g.html
/interer/derzhateli-razvetviteli-prikurivatelya/organajzery-kryuchki-veshalkiadapter-avtomobilnyj-mc1-12-24v.html
/interer/opletka-rulya/opletka-rulya-kozha-chernaya-sw220-l.html
/interer/ventilyatory/ventilyatoryventilyator-perednyaya-setka-chernyj-karkas-24v-1.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonkovry-salona-rezinovye-citroen-c-ely.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonkovry-salona-rezinovye-vw-t4-1991-20.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonmazda-6-2002-2007-kovry-v-salon-avto.html
/kovru-avtomobilynue/modelnye-v-salon/modelnye-kovriki-v-salonrenault-twingo-2007-2014-kovry-v-sal.html
Также хочу добавить что в это время в Яндекс Директе добавил динамические об явления , это все глобальные изменения :)
Помогите решить... куда копать что делать ?
lexter, как насчет Crawl-delay?
Была проблема с нападками ботов. Поставил параметр:
Crawl-delay: 5
Процессор не перегружается.
lexter, как насчет Crawl-delay?
Спасибо ! Сколько рекомендуете поставить ? секунды 2 ?
---------- Добавлено 01.02.2016 в 12:11 ----------
Была проблема с нападками ботов. Поставил параметр:
Crawl-delay: 5
Процессор не перегружается.
Благодарю так и сделаю!
lexter, трех достаточно, будет валить – поставь 5.
lexter, трех достаточно, будет валить – поставь 5.
оке, пасибки
Если у прошлого провайдера ничего не падало при более слабой конфигурации, то дело в настройке сервера, а не в активности бота. Crawl-delay может решить проблему только с ботами Яндекса, и то не всегда. При этом есть поисковики с еще более агрессивными ботами, которым пофик на crowl-delay.
Рекомендую обратиться к хостеру по поводу подключения и настройки nginx.
Если у прошлого провайдера ничего не падало при более слабой конфигурации, то дело в настройке сервера, а не в активности бота. Crawl-delay может решить проблему только с ботами Яндекса, и то не всегда. При этом есть поисковики с еще более агрессивными ботами, которым пофик на crowl-delay.
Рекомендую обратиться к хостеру по поводу подключения и настройки nginx.
Благодарю за отзыв, но хостер не может выявить проблему....
Единственное что они указывают это яндекс бота.