- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Хостер отключил аккаунт из-за перегрузки сервера. Googlebot, Yahoo Slurp и до выкачивают слишком много. прилагаю скриншот, кто-то сталкивался с такой проблемой? С хостером разобрался, кто-то может что-то посоветовать?
попробуйте директиву Crawl-delay в robots.txt
Я так борюсь
robots.txt
User-agent: *
Crawl-delay: 1
А кто не соблюдает - в бан на время, Яндекс там два разы был, Yahoo там по умолчанию.
Да вот поставил Crawl-delay: 10 На индексацию как-то будет влиять? С чем вообще связанна такая выкачка?
Тут настройка роботса не поможет, так как бот будет по сайту ходить, но просто в Индекс страницы попадать не будет. Лучше просто по IP забанить бота.
Зачем по ip,
User-agent - вполне справится
Тут настройка роботса не поможет, так как бот будет по сайту ходить, но просто в Индекс страницы попадать не будет.
crawl-delay в роботс даёт команду адекватным ботам замедлить свой аппетит и работать в строго указанном темпе.
Гугл не понимает директиву Crawl-delay, ему только выставлять из панели веб-мастера своего аккаунта- там есть возможность снизить частоту запросов бота.
А яха понимает, поэтому выше верно было описано.
Crawl-delay 1 и сменить хостера. Судя по вашему скриншоту, на котором ничего страшного, он у вас жлоб.
Хостинг hostgator, делаем выводы. Выставил Crawl-delay посмотрим.
Проще покупать ВДС хороший и не париться постоянно с таким хостингом.