Дикий пионер: Для robots.txt есть директива CrawlDelay или в два слова - по идее должна устаналивать задержку между обращениями поисковых роботов к сайту.
Попробуйте, вдруг поможет.
Дикий пионер добавил 24.11.2011 в 20:54 Вот, тоже самое посоветовали :)
Да использую я эту директиву.
Мой robots.txt скоро по размерам догонит медицинскую энциклопедию.
У меня с одного компьютера, но из разных браузеров разные результаты выдачи по одному и тому же запросу!
Как такое возможно?
В хроме запрос на 55 месте, а в лисе его вообще нет??
Прокси вроде не включал (это если вдруг дело в гео зависимости), да и во всем остальном выдача совпадает один в один вплоть до 55 места на котором в хроме появляется мой сайт а в лисе нет.
🤪
Посмотрел в IE результаты выдачи еще больше отличаются.
Касательно времени согласился бы с вами еще неделю назад, но...
Как я уже говорил до подключения к Сеопульт продвигал сайт покупкой внешних ссылок, так вот месяц назад новые ссылки ожидали индексации в течении недели, а то и больше; сейчас же большинство новых ссылок индексируеться в течении суток после публикации. Или яндекс что то изменил, или мне просто так повезло что ссылки размещались незадолго до прихода робота.
Так что как мне кажется гипотетически можно предположить что новые ссылки попали под индексацию яндекса за те два-три дня что прошли с начала компании.
195.161.25.23 -по моему вот очень подозрительный гость.
Хорс,
Очень большой кусок кода получиться.
Redje добавил 24.11.2011 в 21:17
Для robots.txt есть директива CrawlDelay или в два слова - по идее должна устаналивать задержку между обращениями поисковых роботов к сайту.
Попробуйте, вдруг поможет.
Дикий пионер добавил 24.11.2011 в 20:54
Вот, тоже самое посоветовали :)
Да использую я эту директиву.
Мой robots.txt скоро по размерам догонит медицинскую энциклопедию.
Посмотрите нашу тему
Наши тарифы на VDS
Вам посоветую тариф OpenVZ VPS-3 за 680р.
Предоставим Вам бесплатно панель ISPManager Lite.
А администрирование и настройка?
Спасибо за ответы!
не могли бы вы прояснить следующий момент.
Мой текущий хостер например указывает во время перегрузок Использование процессора(ов): 153.8 % (см. первый пост)
Можно предположить что в обычное время к примеру 50%, а вы предлагаете 15% и 5%?
Черт так и есть!
Уже сам додумался.
Никогда не знал что страницы поисковой выдачи - кэшируються браузером!
Причем я намеренно несколько раз ее обновлял - результаты были те же.
Qw2010 - спасибо за совет.
Что-то с яндексом у меня действительно не лады.
Плюс ко всему заметил такую фишку:
У меня с одного компьютера, но из разных браузеров разные результаты выдачи по одному и тому же запросу!
Как такое возможно?
В хроме запрос на 55 месте, а в лисе его вообще нет??
Прокси вроде не включал (это если вдруг дело в гео зависимости), да и во всем остальном выдача совпадает один в один вплоть до 55 места на котором в хроме появляется мой сайт а в лисе нет.
🤪
Посмотрел в IE результаты выдачи еще больше отличаются.
Что это?
Сегодня сайт снова появился на 55 месте.
Что это было непонятно.
Ничего кроме отключения сеопульт не предпринимал.
Возможно просто какой то глюк яндекса?
Касательно времени согласился бы с вами еще неделю назад, но...
Как я уже говорил до подключения к Сеопульт продвигал сайт покупкой внешних ссылок, так вот месяц назад новые ссылки ожидали индексации в течении недели, а то и больше; сейчас же большинство новых ссылок индексируеться в течении суток после публикации. Или яндекс что то изменил, или мне просто так повезло что ссылки размещались незадолго до прихода робота.
Так что как мне кажется гипотетически можно предположить что новые ссылки попали под индексацию яндекса за те два-три дня что прошли с начала компании.