- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В последнее время вылетает несколько раз за день - Достигнут предел ресурсов процессора для вашего сайта. Увидел большое количество запросов к файлу index.php. Основная нагрузку во время превышения от проксирующих ботов YandexBot и AppleWebKit. Решил прописать в robots.txt:
User-agent: YandexBot
Crawl-delay: 2.0
User-agent: AppleWebKit
Crawl-delay: 2.0
В связи с этим несколько вопросов:
1. Правильно ли я прописал директиву Crawl-delay?
2. Это поможет снизить нагрузку на хостинг или лучше взять +1 CPU на услугу?
3. Не скажется ли это негативно на индексации сайта или ранжировании?
Всем кто ответит большое спасибо, т.к. сам не очень силен в этих настройках.
User-agent: YandexBot
Crawl-delay: 2.0
https://yandex.ru/support/webmaster/robot-workings/crawl-delay.html
от проксирующих ботов YandexBot и AppleWebKit
YandexBot индексирующий, AppleWebKit вообще не бот.
Лучше по ip проверить действительно ли там YandexBot был.
или лучше взять +1 CPU на услугу?
Или хостинг другой или сайт оптимизировать...
В последнее время вылетает несколько раз за день - Достигнут предел ресурсов процессора для вашего сайта. Увидел большое количество запросов к файлу index.php. Основная нагрузку во время превышения от проксирующих ботов YandexBot и AppleWebKit. Решил прописать в robots.txt:
User-agent: YandexBot
Crawl-delay: 2.0
User-agent: AppleWebKit
Crawl-delay: 2.0
В связи с этим несколько вопросов:
1. Правильно ли я прописал директиву Crawl-delay?
2. Это поможет снизить нагрузку на хостинг или лучше взять +1 CPU на услугу?
3. Не скажется ли это негативно на индексации сайта или ранжировании?
1. Да, правильно.
2. Это поможет снизить нагрузку на хостинг, но может быть недостаточно, если нагрузка будет продолжаться. В этом случае лучше добавить дополнительные ресурсы.
3. Нет, не скажется. Поисковые системы уважают директивы, указанные в robots.txt.
Ответил ИИ chatGPT ))
2. Это поможет снизить нагрузку на хостинг или лучше взять +1 CPU на услугу?
если не поможет то взять надо
3. Не скажется ли это негативно на индексации сайта или ранжировании?
скажется, да просто посетителей теряете...
что за движек? кеширование используете?
Ответил ИИ chatGPT ))
Оно заметно, судя по ерунде, написанной в том ответе.
Правильно ли я прописал директиву Crawl-delay?
Это не имеет значения, потому что это ненужное действие.
YandexBot индексирующий, AppleWebKit вообще не бот.
Лучше по ip проверить действительно ли там YandexBot был.
Да, проверил по IP, именно YandexBot ходит часто
Это не имеет значения, потому что это ненужное действие.
А что посоветуете?