- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Довольно большой динамический сайт периодически падает, когда Гугл приходит его индексить (индексит очень часто, иногда через несколько минут уже новая инфа в индексе). Периодически, видимо, приходит индексить полностью и сервак умирает. Что делать? Сайт о фотографии, соответственно много фоток, есть несколько тяжелых страниц, которые запросами к базе сильно грузят. Что посоветуете?
Что посоветуете?
Пойти в панель вебмастера (в гугле) и указать боту, чтобы приходил реже.
Панель инструментов > Инструменты > Задайте скорость сканирования
можно в сайтмапе указать частоту сканирования страниц
Пойти в панель вебмастера (в гугле) и указать боту, чтобы приходил реже.
Извините за ламерский вопрос, но это уменьшит нагрузку? В том плане что не будет ли Гугл в этом случае приходить редко, но метко (то есть сразу индексить много)?
Извините за ламерский вопрос, но это уменьшит нагрузку? В том плане что не будет ли Гугл в этом случае приходить редко, но метко (то есть сразу индексить много)?
Скажем так:
Более низкая скорость уменьшит трафик робота Googlebot на вашем сервере, но мы не сможем сканировать ваш сайт с той же частотой.
Раз функцию прикрутили, значит об этом думали. Имхо, бот будет реже проверять отсканированные документы на предмет обновления.
Довольно большой динамический сайт периодически падает, когда Гугл приходит его индексить (индексит очень часто, иногда через несколько минут уже новая инфа в индексе). Периодически, видимо, приходит индексить полностью и сервак умирает. Что делать? Сайт о фотографии, соответственно много фоток, есть несколько тяжелых страниц, которые запросами к базе сильно грузят. Что посоветуете?
я бы лучше оптимизнул сайт, чем обрезать бота. жалко все же... обидится :)
надо гуглу сообщать список изменившихся документов. Для этого надо прочитать документацию по google sitemap - http://www.google.com/support/webmasters/bin/answer.py?answer=40318
Так же рекомендую отключить для индексации разделы сайта, не предназначенные для индексации. Это существенно снизит нагрузку, и позволит роботу работать только с действительно важными страницами.
robots.txt
Crawl-delay: 5 - говорит, чтобы робот обращался к сайту не чаще, чем раз за 5 секунд
robots.txt
Crawl-delay: 5 - говорит, чтобы робот обращался к сайту не чаще, чем раз за 5 секунд
Гугл не поддерживает Crawl-delay