- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Задача прямо противоположная большинству тут обсуждаемых: я не хочу, чтобы на сайте тусовался Яндекс с друзьями, не хочу видеть ресурс в индексе. Что предприянть?
Когда он был создан 1.5 года назад - было в robots.txt прописано
и всё было тихо. Потом однажды было принято решение (ошибочное) открыть ресурс для индексации и вторую строчку удалили. Сейчас он достаточно хорошо проиндексирован и боты там просто живут, что создаёт огромную нагрузку на не слишком мощный сервер, мешая работе пользователей.
Вот теперь непонятно, как их прогнать. robots.txt привели опять к указанному выше виду, в .htaccess прописано
но поисковики (в т.ч указанные по юзер-агентам) всё равно шарятся день и ночь, в индексе самые свежие страницы (((
Предвидя вопросы: ресурс корпоративный, форум на phpbb3, в основном - для своих. Для остальных есть ссылка на другом (главном) сайте. Фильтровать по IP не вариант, сотрудники и другие нужные люди ходят с разных динамических IP, вводить доп. авторизацию на входе тоже не хочется - манагеры вопросами замучают.
яндекс и гугл потом перестанут шариться, просто не сразу перестают бегать
тегами закройте:
<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
или разом:
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
У меня такая же проблема с Google. Если надо просто поумерить его пыл? Не прогонять, а намекнуть, мол, пореже, дружок, пореже...
пореже, дружок, пореже...
http://help.yandex.ru/webmaster/?id=996567#1022359
http://help.yandex.ru/webmaster/?id=996567#1022359
Не помогает. Там смешные задержки указаны - 2,5. Ставлю 1500 - все равно нагрузка. Когда баню - сайт летает и отдыхает.
что создаёт огромную нагрузку на не слишком мощный сервер
Сервер менять надо. Или скрипты оптимизировать.
Сервер менять надо. Или скрипты оптимизировать.
О! Опять эта фраза! И хостер так сказал - оптимизируйте скрипты. А что конкретно имеется в виду? Замерил время выполнения скриптов - не больше 0.12 с. Объем памяти, занимаемого скриптом 256К.
Это вопрос к программерам.
Сервер менять надо. Или скрипты оптимизировать.
Скрипт оптимизировать уже некуда, а менять из-за этого сервер (при таких исходных) - это всё равно что поставить двигатель помощнее когда колёса не крутятся.
Там всё просто летает, пока ботов нет!
hubbiton добавил 24.05.2010 в 01:23
Roman77, спасибо за идею, теги прпрописал, посмотрим на результат...
Там всё просто летает, пока ботов нет!
Если боты грузят сервер, значит, он криво настроен. Ну, или скрипты кривые.
... или нагрузка слишком высока. Со своими штатными задачами он справляется с большим запасом и тут вопрос стоит не в том, как оптимизировать сервер/скрипт, а как убрать совершенно бесполезную нагрузку.