- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приветствую всех. Возник вопрос следующего плана.
Есть сайт, генерирующий при каждом показе страницы PHP+MySQL. Страниц на сайте десятки тысяч.
В дневное время он потребляет 5-10% ресурсов хостинга.
В ночное время, когда на него налетают поисковые роботы, загрузка может составлять 30-40%. В свете этого, хостинг рекомендует вписать в robots.txt следующее:
User-Agent: *
Crawl-Delay: 1
Эта директива означает отдачу страниц поисковым роботам один раз в секунду.
Насколько это критично для индексации?
Может ли это сказаться как-то отрицательно?
Сейчас большая часть аудитории сайта это именно поисковые запросы.
Просто думаю, либо вписать, что рекомендуют. Либо, если это критично все же, то менять хостинг. Что посоветуете?
Сейчас большая часть аудитории сайта это именно поисковые запросы.
Странная какая-то аудитория.
а способы оптимизации работы с БД вышли из моды? :) Или у вас итак всё супер-оптимизировано? )
Спасибо за ответ. :) Над оптимизацией, конечно, думаю. Но не все так просто. Поэтому меня сейчас волнует именно поставленный вопрос.
Эксперименты с ботами до добра не доводят.
http://ru2.php.net/memcache
Есть сайт, генерирующий при каждом показе страницы PHP+MySQL. Страниц на сайте десятки тысяч.
В дневное время он потребляет 5-10% ресурсов хостинга.
этоа загрузка при каком количестве запросов в секунду?????? (http запросов) Если мение 10к, то отбить руки программеру.
Эта директива означает отдачу страниц поисковым роботам один раз в секунду.
файл робтс является РЕКОМЕНДАЦИЕЙ а не правилом. Тем более, что очень небольшое количесвто роботов обращаются к этому файлу, а из тех кто обращается, большая часть читает только Disallow:
Спасибо за ответы. Смысл понял - с роботом лучше не играться.
Я не замерял сколько именно http запросов идет в секунду. Однако в ограничение 20 одновременных запросов укладываюсь. Сам сайт на Seditio CMS, которая достаточно легкая и оптимизированная. Хуже дела обстоят с банерокрутилкой. Приходится использовать phpadsnew/openx. Кто заком с ней, тот знает что это за монстр. Замены к сожалению пока не нашел.
User-Agent: *
Crawl-Delay: 1
так оно правильней будет:
Боты, поддерживающие директиву Crawl-Delay, будут запрашивать страницы не чаще, чем по 1-й в секунду
Странная какая-то аудитория.
а способы оптимизации работы с БД вышли из моды? :) Или у вас итак всё супер-оптимизировано? )
оптимизация вышла из моды, сейчас железо дешевле труда программиста ))) зачем оптимизировать ) проще купить еще 1 сервер, так то )
з.ы. ) конечно в разы приятнее видеть что на том же железе после оптимизации время выдачи страницы уменьшилось ) до сотых секунды.
Размещение сервера сейчас на многих хостинг-площадках подорожало. Мест нет. Мастерхост и Стэк, например, подняли цены в этом году два раза. Такими темпами скоро оптимизация снова в моду войдет... ;)