Можно ли как то в робот файле или в файле настроек сделать так чтоб ссылки вида запредить для скачивания яндексом
http://euro-postel.ru/catalog/products/towels_bamboo/salfetki_bambuk_karna_organic_1_3_v3/%3Cimg%20i...
либо перенаправлять их та туже страницу только без всяких дополнений в конце ссылки <img id=/<img id= или <img id=/<img id=/ <img id=/<img id=/
http://euro-postel.ru/catalog/products/towels_bamboo/salfetki_bambuk_karna_organic_1_3_v3/
не знаю что из этого лучше
Если да то как это можно сделать?
Нам уже переносили как то сайт на vds с установленным веб-окружением битрикс, все работало намного хуже чем на тарифак у хостинга предназначенных для битрикса. и тогда нам пояснили что ситуация временная так как яндекс робот слишком много запрашивает с сайта отсюда и нагрузка на сайт. после чего сайт вернули обратно на стандартный хостинг и все было замечательно, но ситуация с нагрузкой повторяется. и нагрузка так же как и в прошлый раз уменьшается, но не понятно что можно сделать чтоб не повторялась нагрузка. статистики на сайте все отключены, это нам первым делом посоветовали в системе битрикс так как создает нагрузку, оптимизацию таблиц проводили с помощью систем в битриксе. Посоветовали воспользоваться Crawl-delay: 30 и запретить доступ для одного из бота:
Хостер жадный очень насчет предоставления логов запросов к базе, мы пытались и просили, но ничего не вышло (((
Сайт сделан на битриксе, в логах привлекло два момента.
один из них:
второй это посещение яндекс робота:
больше ничего подозрительного, остальные посетители сайта которых не так много.
Предположение что яндекс грузит сайт но как быть в такой ситуации? и как другие живут с этим?
