Нам уже переносили как то сайт на vds с установленным веб-окружением битрикс, все работало намного хуже чем на тарифак у хостинга предназначенных для битрикса. и тогда нам пояснили что ситуация временная так как яндекс робот слишком много запрашивает с сайта отсюда и нагрузка на сайт. после чего сайт вернули обратно на стандартный хостинг и все было замечательно, но ситуация с нагрузкой повторяется. и нагрузка так же как и в прошлый раз уменьшается, но не понятно что можно сделать чтоб не повторялась нагрузка. статистики на сайте все отключены, это нам первым делом посоветовали в системе битрикс так как создает нагрузку, оптимизацию таблиц проводили с помощью систем в битриксе. Посоветовали воспользоваться Crawl-delay: 30 и запретить доступ для одного из бота:
SetEnvIfNoCase User-Agent "DotBot" bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
Можно ли как то в робот файле или в файле настроек сделать так чтоб ссылки вида запредить для скачивания яндексом
http://euro-postel.ru/catalog/products/towels_bamboo/salfetki_bambuk_karna_organic_1_3_v3/%3Cimg%20i...
либо перенаправлять их та туже страницу только без всяких дополнений в конце ссылки <img id=/<img id= или <img id=/<img id=/ <img id=/<img id=/
http://euro-postel.ru/catalog/products/towels_bamboo/salfetki_bambuk_karna_organic_1_3_v3/
не знаю что из этого лучше
Если да то как это можно сделать?
Нам уже переносили как то сайт на vds с установленным веб-окружением битрикс, все работало намного хуже чем на тарифак у хостинга предназначенных для битрикса. и тогда нам пояснили что ситуация временная так как яндекс робот слишком много запрашивает с сайта отсюда и нагрузка на сайт. после чего сайт вернули обратно на стандартный хостинг и все было замечательно, но ситуация с нагрузкой повторяется. и нагрузка так же как и в прошлый раз уменьшается, но не понятно что можно сделать чтоб не повторялась нагрузка. статистики на сайте все отключены, это нам первым делом посоветовали в системе битрикс так как создает нагрузку, оптимизацию таблиц проводили с помощью систем в битриксе. Посоветовали воспользоваться Crawl-delay: 30 и запретить доступ для одного из бота:
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Хостер жадный очень насчет предоставления логов запросов к базе, мы пытались и просили, но ничего не вышло (((
Сайт сделан на битриксе, в логах привлекло два момента.
один из них:
второй это посещение яндекс робота:
euro-postel.ru 5.255.253.134 - - [26/Mar/2015:19:11:22 +0300] "GET /catalog/products/matrasy/matras_layt_skrutka_serii_bespruzhinnye_vysota_14_15_sm/ HTTP/1.0" 200 16324 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
euro-postel.ru 5.255.253.144 - - [26/Mar/2015:19:11:27 +0300] "GET /catalog/products/shali_i_nakidki/nakidka_issimo_home_milos_purpurnyy/%3Cimg%20id=/ HTTP/1.0" 404 29093 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
euro-postel.ru 5.255.253.134 - - [26/Mar/2015:19:11:29 +0300] "GET /catalog/products/postelnoe_bele/komplekt_postelnogo_belya_issimo_home_pamir_korichnevyy/ HTTP/1.0" 200 15806 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
euro-postel.ru 5.255.253.230 - - [26/Mar/2015:19:11:34 +0300] "GET /catalog/products/sateen/komplekt_postelnogo_belya_issimo_home_ocean_belo_siniy/%3Cimg%20id=/ HTTP/1.0" 404 29104 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
больше ничего подозрительного, остальные посетители сайта которых не так много.
Предположение что яндекс грузит сайт но как быть в такой ситуации? и как другие живут с этим?